为确保无人机安全运行,科学家利用超像素分割技术对飞行环境进行分类!
环境分类是无人机(UAV)的关键任务之一。由于水的聚集可能会破坏无人机的稳定,因此必须检测和避免云。在作者之前的工作中,超像素分割(SPS)描述符使用低计算代价分类地面、天空和云。本文提出了一种改进的环境分类方法,对这三类环境进行了分类。该方案由卷积神经网络(CNN)组成,训练由人类专家和支持向量机(SVM)生成的数据集,以捕获上下文和精确定位。使用这种方法的优点是,CNN把每个像素,而不是一个集群的SPS,提高了分类的分辨率,同时,不乏味的人类专家来生成一些训练样本而不是正常的量,它是必需的。本方案适用于安装在无人机上面向飞行器飞行同一方向的视频和摄影摄像机所获得的图像。实验结果以及与其他方法的比较表明了该算法的有效性。
相关论文以题为“Environment Classification for Unmanned Aerial Vehicle Using Convolutional Neural Networks”发表在《 Applied Sciences》上。
无人机(uav)由于其在三维空间中移动的能力,在过去的几十年里得到了普及。无人机最初是用于军事目的。然而,它们现在被用于监视、研究、监测和搜索和救援活动。无人机的挑战之一是失去与远程飞行员的通讯。因此,有必要为飞行器提供一定程度的自主能力,以在这种情况下维持飞行。无人机必须能够适应和改变它的路径根据地面位置和天气条件,因为维持飞机飞行时穿过稠密的云层是不可能的。给定天气指标,允许检测云层,可以从很远的地方看到。开发一种能够避免它们的智能系统是可能的。
云检测是一项非常具有挑战性的任务,每个大的水团都有一个独特的无定形形状,它是不断变化的。使用Speeded Up Robust feature (SURF)等描述符提取待跟踪的特征特征是不可能的,那么就需要其他提取信息的方法,如基于颜色、纹理和光照的分割。在文献中,研究人员提出了几个具有线性计算代价、易于实现的描述符,显示出良好的训练和泛化效果。通过安装在一架无人机上的摄像机,对二级和三级分类进行了实时检测,结果令人满意。
研究人员的方案描述和实现方法分类三个元素的环境(地面,天空和云),使用Superpixel分割(SPS)和支持向量机(SVM) pre-train卷积神经网络(CNN),这是一种深度学习模型,训练分类器输出端到端从原始像素强度值。图像的空间结构使它适合于这种网络,设置过滤器(或层)和参数共享之间的连接,以及离散卷积。
本作品中使用的图像是由Hydra Technologies of Mexico®提供的安装在无人机上的摄像机拍摄的;图1显示了获得的图像的示例。
图1.从安装在无人机(UAV)上的摄像机捕捉视频流的图像。在每秒30帧的情况下,图像分辨率为720宽480高。
相关工作
关于云检测的研究大多是基于地面的,在地面上,云被仪器捕获,以预定的时间间隔获得连续的全天图像。对于无人机来说,这些条件是不可能保持的,因为信息更新的间隔时间需要更短。此外,算法不应该有很高的计算成本,因为机载计算机可能不具有与外站相同的处理能力和内存能力。此外,无人机中处理能力高的计算机对能源的需求也会更高,这就需要性能更高的电池,这会增加无人机的重量,对飞机的燃油消耗产生负面影响。
其他的工作用无向图解决了对象识别的问题。计算图关联矩阵的计算成本可能很高;在最坏的情况下,它是一个O(n2)复杂度的问题。这些方法不适合实时应用工作与高清晰度图像。研究人员提出了一种基于SPS的全天候图像云自动检测方法;该算法的结果和实现如图2所示。可以看出,即使它是一个很好的近似,一些信息丢失在最终的结果。考虑到这些结果和算法的计算复杂性,它可能不适合这些类型的应用。
图2.算法步骤。
由于它的交互稀疏,需要存储更少的参数和操作;然而,更深层次的单元可能间接地与输入的更重要的部分交互,并描述像素之间更复杂的交互,如图3所示。
图3.稀疏交互的描述。即使直接连接看起来很少,更深层次的更多单元是间接连接的。
CNN由三个步骤组成。首先,几个并行卷积产生一组线性激活。然后,实现一个检测器步骤,其中非线性激活函数以线性激活为参数。最后,使用池化函数来修改该层的输出,使该表示不受输入的小转换影响。
利用CNN进行环境分类
CNNs在图像识别、分割和检测方面表现出了良好的效果。网络的架构如图4所示。每一层使用一个整流线性单元(ReLU)功能来激活它们;除了最后一个,它的激活函数是一个s形函数,由f(x)=1/(1+e - x)给出。
图4.卷积神经网络(CNN)架构。在所有情况下,stride = 1,零填充= 1。输出图像有三个通道(天空、云和地面),每个像素基于其三个通道值进行标记。
CNN是一类深度学习模型,需要训练大量的数据。在实践中,对大数据集的访问相对较少,生成是一项繁琐的工作。在本研究中,其中一部分数据是由SVM生成的超像素分类产生的;然而,只使用支持向量机的信息训练CNN会使CNN从支持向量机学习。另一组由人类专家提供的训练数据可以避免这种行为。最后,利用数据增广对训练数据进行人工放大。
实验结果
在本节中,研究人员将展示提案的结果,使用SVM提供的1000幅图像执行预训练步骤。然后,只有20幅由人类专家分类的地面真实图像用于监督训练。表1显示了十个测试图像,用于演示所提算法的有效性。这些照片是在固定高度的三个不同航班上拍摄的,但每次飞行都不同,天气条件也不同。虽然它们不是连续的帧,但第5 - 7排的照片是从水平直线飞行中拍摄的;它们之间的差别不大,但是sp - svm在这些图像之间明显表现出了不同的分类。此外,人工扩大数据集,对训练集应用几何变换。
表1.测试结果。第一列显示原始图像。第二列显示超像素分割(SPS) -支持向量机(SVM)分类。第三栏显示由人产生的基本事实。第四栏给出了CNN所做的分类。
对于每个像素,CNN输出属于每个类的概率。通过使用这些概率作为像素强度,研究人员形成如图5所示的灰度图像。它们的柱状图也显示出来了。此外,每个类的概率被缩放并显示在图6中,以演示哪个像素激活每个类的输出层。
图5.每个类的像素分布。
图6.每个类别的比例概率。
结论
该方法不仅对环境中需要划分的部分进行分类,而且减少了人工生成数据集的繁琐劳动,取得了良好的效果。从结果图像上可以看到,使用基本的图像编辑工具,该建议可以比支持向量机或人类进行更详细的分类。CNN用于像素分类通常需要一个大数据集来训练;在本文中,CNN预先训练了sp - svm的预测。然后,将sp - svm视为一种数据增强过程,生成合成的标记数据。
该方法足够快,可以在短时间内提供敏感信息,因此无人机可以根据最近的信息做出决策。未来的工作将集中在通过增加对环境中可以发现的不同类型的云以及它们对无人机可能代表的风险的估计来改进分类。
论文链接:https://www.mdpi.com/2076-3417/10/14/4991/htm
相关新闻推荐
-
杭州电子科技大学解决无人机送货“微观交叉定位”难题
-
无人机团队使用自适应控制算法协同合作,可用于运送大型包裹
-
新的测量技术揭秘蜂鸟翅膀独特声音 可以帮助无人机等设备变得更安静
-
新型静音螺旋桨已成功通过试验,噪音降低15dB左右
-
德克萨斯大学研发多种传感器融合的无人机 可快速收集各种数据
-
研究人员推出了新一代的迷你无人机,能够敏捷的处理问题
-
如何建成世界首个移动量子链路?破解局域量子网络搭建两大挑战
-
创新型“嗅觉”无人机 将被用于火星探索
-
国际联合小组开发无人机模块化传感器系统 集合四种传感器助力紧急救援
-
无人机做光学中继站,单模光纤接发信号降损
-
蜂巢HC-342E六旋翼无人机,在渤海油田海上平台成功首飞
-
3D打印技术在轻型无人机设计和生产中的应用
-
多数无人机操作员处于“无证驾驶”状态,黑飞”居多,心存侥幸
-
冰岛数十架航拍无人机无辜坠落,究其原因或是火山喷发致地磁紊乱所致
-
使用车载摄像机信号,让四螺旋桨无人机在没有GPS下稳定飞行
-
天气预报不准?无人机收集气象数据来解决
-
航拍无人机丢失了怎么办?如何预防
-
无人机雷达波测流系统,可用于快速应急监测
-
全国首个无人机急救送血专用航线建立,单次可运输4000-5000毫升血量
-
无人机如何做到对悬浮负载的精准控制
-
新型无人机Scout 137,可自动飞越障碍物,用于对储罐内壁检测
-
高原地区对无人机性能影响重大,这些性能让其无惧高寒
-
大疆参与制定的,全球首个无人机载荷接口标准正式发布
-
四大最受欢迎激光雷达平台的最新趋势,如何让云数据的终端用户受益
-
科比特发布颠覆性新品:“百胜将”全自动无人机机库,打开无人机智能化新时代
-
电网无人机用来驱赶鸟类,可以增强电力线路的安全性
-
Flytrex与沃尔玛展开合作进行无人机交付,正在申请FAA认证
-
美国土木工程师协会发布13个基础设施创新技术
-
袖珍雷达将让无人机可以自动躲避空域内其他飞行物
-
中国民航局关于无人驾驶航空器飞行专项法规公布
还没有人评论哦,抢沙发吧~