为确保无人机安全运行，科学家利用超像素分割技术对飞行环境进行分类！

环境分类是无人机(UAV)的关键任务之一。由于水的聚集可能会破坏无人机的稳定，因此必须检测和避免云。在作者之前的工作中，超像素分割(SPS)描述符使用低计算代价分类地面、天空和云。本文提出了一种改进的环境分类方法，对这三类环境进行了分类。该方案由卷积神经网络(CNN)组成，训练由人类专家和支持向量机(SVM)生成的数据集，以捕获上下文和精确定位。使用这种方法的优点是,CNN把每个像素,而不是一个集群的SPS,提高了分类的分辨率,同时,不乏味的人类专家来生成一些训练样本而不是正常的量,它是必需的。本方案适用于安装在无人机上面向飞行器飞行同一方向的视频和摄影摄像机所获得的图像。实验结果以及与其他方法的比较表明了该算法的有效性。

相关论文以题为“Environment Classification for Unmanned Aerial Vehicle Using Convolutional Neural Networks”发表在《 Applied Sciences》上。

无人机(uav)由于其在三维空间中移动的能力，在过去的几十年里得到了普及。无人机最初是用于军事目的。然而，它们现在被用于监视、研究、监测和搜索和救援活动。无人机的挑战之一是失去与远程飞行员的通讯。因此，有必要为飞行器提供一定程度的自主能力，以在这种情况下维持飞行。无人机必须能够适应和改变它的路径根据地面位置和天气条件，因为维持飞机飞行时穿过稠密的云层是不可能的。给定天气指标，允许检测云层，可以从很远的地方看到。开发一种能够避免它们的智能系统是可能的。

云检测是一项非常具有挑战性的任务，每个大的水团都有一个独特的无定形形状，它是不断变化的。使用Speeded Up Robust feature (SURF）等描述符提取待跟踪的特征特征是不可能的，那么就需要其他提取信息的方法，如基于颜色、纹理和光照的分割。在文献中，研究人员提出了几个具有线性计算代价、易于实现的描述符，显示出良好的训练和泛化效果。通过安装在一架无人机上的摄像机，对二级和三级分类进行了实时检测，结果令人满意。

研究人员的方案描述和实现方法分类三个元素的环境(地面,天空和云),使用Superpixel分割(SPS)和支持向量机(SVM) pre-train卷积神经网络(CNN),这是一种深度学习模型,训练分类器输出端到端从原始像素强度值。图像的空间结构使它适合于这种网络，设置过滤器(或层)和参数共享之间的连接，以及离散卷积。

本作品中使用的图像是由Hydra Technologies of Mexico®提供的安装在无人机上的摄像机拍摄的;图1显示了获得的图像的示例。

图1.从安装在无人机(UAV)上的摄像机捕捉视频流的图像。在每秒30帧的情况下，图像分辨率为720宽480高。

相关工作

关于云检测的研究大多是基于地面的，在地面上，云被仪器捕获，以预定的时间间隔获得连续的全天图像。对于无人机来说，这些条件是不可能保持的，因为信息更新的间隔时间需要更短。此外，算法不应该有很高的计算成本，因为机载计算机可能不具有与外站相同的处理能力和内存能力。此外，无人机中处理能力高的计算机对能源的需求也会更高，这就需要性能更高的电池，这会增加无人机的重量，对飞机的燃油消耗产生负面影响。

其他的工作用无向图解决了对象识别的问题。计算图关联矩阵的计算成本可能很高;在最坏的情况下，它是一个O(n2)复杂度的问题。这些方法不适合实时应用工作与高清晰度图像。研究人员提出了一种基于SPS的全天候图像云自动检测方法;该算法的结果和实现如图2所示。可以看出，即使它是一个很好的近似，一些信息丢失在最终的结果。考虑到这些结果和算法的计算复杂性，它可能不适合这些类型的应用。

图2.算法步骤。

由于它的交互稀疏，需要存储更少的参数和操作;然而，更深层次的单元可能间接地与输入的更重要的部分交互，并描述像素之间更复杂的交互，如图3所示。

图3.稀疏交互的描述。即使直接连接看起来很少，更深层次的更多单元是间接连接的。

CNN由三个步骤组成。首先，几个并行卷积产生一组线性激活。然后，实现一个检测器步骤，其中非线性激活函数以线性激活为参数。最后，使用池化函数来修改该层的输出，使该表示不受输入的小转换影响。

利用CNN进行环境分类

CNNs在图像识别、分割和检测方面表现出了良好的效果。网络的架构如图4所示。每一层使用一个整流线性单元(ReLU)功能来激活它们;除了最后一个，它的激活函数是一个s形函数，由f(x)=1/(1+e - x)给出。

图4.卷积神经网络(CNN)架构。在所有情况下，stride = 1，零填充= 1。输出图像有三个通道(天空、云和地面)，每个像素基于其三个通道值进行标记。

CNN是一类深度学习模型，需要训练大量的数据。在实践中，对大数据集的访问相对较少，生成是一项繁琐的工作。在本研究中，其中一部分数据是由SVM生成的超像素分类产生的;然而，只使用支持向量机的信息训练CNN会使CNN从支持向量机学习。另一组由人类专家提供的训练数据可以避免这种行为。最后，利用数据增广对训练数据进行人工放大。

实验结果

在本节中，研究人员将展示提案的结果，使用SVM提供的1000幅图像执行预训练步骤。然后，只有20幅由人类专家分类的地面真实图像用于监督训练。表1显示了十个测试图像，用于演示所提算法的有效性。这些照片是在固定高度的三个不同航班上拍摄的，但每次飞行都不同，天气条件也不同。虽然它们不是连续的帧，但第5 - 7排的照片是从水平直线飞行中拍摄的;它们之间的差别不大，但是sp - svm在这些图像之间明显表现出了不同的分类。此外，人工扩大数据集，对训练集应用几何变换。

表1.测试结果。第一列显示原始图像。第二列显示超像素分割(SPS) -支持向量机(SVM)分类。第三栏显示由人产生的基本事实。第四栏给出了CNN所做的分类。

对于每个像素，CNN输出属于每个类的概率。通过使用这些概率作为像素强度，研究人员形成如图5所示的灰度图像。它们的柱状图也显示出来了。此外，每个类的概率被缩放并显示在图6中，以演示哪个像素激活每个类的输出层。

图5.每个类的像素分布。

图6.每个类别的比例概率。

结论

该方法不仅对环境中需要划分的部分进行分类，而且减少了人工生成数据集的繁琐劳动，取得了良好的效果。从结果图像上可以看到，使用基本的图像编辑工具，该建议可以比支持向量机或人类进行更详细的分类。CNN用于像素分类通常需要一个大数据集来训练;在本文中，CNN预先训练了sp - svm的预测。然后，将sp - svm视为一种数据增强过程，生成合成的标记数据。

该方法足够快，可以在短时间内提供敏感信息，因此无人机可以根据最近的信息做出决策。未来的工作将集中在通过增加对环境中可以发现的不同类型的云以及它们对无人机可能代表的风险的估计来改进分类。

论文链接：https://www.mdpi.com/2076-3417/10/14/4991/htm