利用边缘特征来识别目标，大大减少人工去辨别的时间

客舱舱盖是保证飞机质量和飞行安全的重要组成部分。在飞机试飞检查和日常维护中，关键的一步是逐一打开舱口盖进行详细检查。授权操作人员难以识别形状相似、检测要求不同的舱口盖。

该研究提出了一种基于边缘的盖识别与跟踪方法，用于识别形状相似的不同舱口盖。首先，提出一种快速边缘特征，用简单的几何约束描述图像的轮廓;其次，基于边缘特征，提出了一种由形状和位置描述向量组成的覆盖描述子，以识别具有相似形状的不同覆盖;第三，在识别掩体标志的基础上，提出了一种基于直接视觉里程计的摄像机跟踪方法，以提高掩体识别的鲁棒性。本文以“Edge-based cover recognition and tracking method for an AR-aided aircraft inspection system”为题与2020年11月11日发布于《The International Journal of Advanced Manufacturing Technology》杂志上。

研究背景与实验

对于一个典型的飞机，为了保证飞机的质量和飞行安全，在它的第一次试航飞行检查和例行维修中都要进行彻底的检查。大量的电子设备主要安装在电子客舱内，这些电子设备分散分布在飞机表面蒙皮各处。关键的一步是逐一打开所有舱口盖，进行准确详细的拾货检查，最大限度地消除设备安装可能出现的问题。

下图展示了一些典型的飞机舱口盖，从图中可以清楚地看到，不同的舱口盖可能具有相似的形状。

图为飞机舱口盖

时至今日，对安装在电子客舱内的电子设备的提货检查，主要是由授权的操作员进行的，有目测的，也有人工的，通过二维纸质手册查找安装错误。大量分散分布在客舱外表面的舱口盖，可能具有相似的形状。此外，每个盖子的检验要求也不完全相同。

传统的人工安装检测过程完全依赖于操作人员的知识、经验和记忆。这使得操作人员难以识别具有不同安装检查要求的相似盖板，从而可能导致潜在的安全隐患，甚至飞行安全事故。在过去的二十年里,增强现实(AR)收到越来越多的研究人员关注的制造技术社区和已应用于解决各种各样的问题在整个组装在一个产品的生命周期阶段,例如,规划、设计、人体工程学评估、操作指导和培训。

增强现实技术将计算机生成的二维引导文本、三维模型和动画等虚拟信息与真实环境相结合，形成虚拟与真实融合的场景。将增强的信息显示在用户视野内，增强人类用户的自然视觉感知。基于上述能力，AR被视为提供与工业产品相关的新服务的重要工具。

AR已经在很多应用领域得到了有效的应用，但其潜力还有待开发，许多领域都可以从这项技术中受益。如前所述，需要识别形状相似的不同舱口盖板，并叠加增强的检测指导信息，以提高检测效率，减少可能出现的安装错误。基于这些考虑，该研究提出了一种基于边缘的覆盖识别与跟踪方法，用于增强现实辅助飞机覆盖内装置安装检测引导。

近年来，增强现实技术越来越受到工业领域研究人员的关注。AR装配应用的关键任务之一是开发一种适用于工业场景的实时跟踪系统。基于标记的跟踪方法由于基准标记易于检测且精度较高，是目前应用最广泛的跟踪方法。

近年来，无标记的跟踪方法，被认为是理想的后续标记，越来越受欢迎的。航空航天、汽车等工业领域的很多工业零件和产品表面纹理很少，被称为无纹理物体。基于关键点和局部描述符的方法，如SIFT(尺度不变特征变换)，SURF(加速鲁棒特征)和ORB(快速定向和旋转简洁)，可能不适用于无纹理的对象，因为它们需要目标对象区域的丰富纹理。

基于模板的方法速度较慢，因为模板搜索空间大，而且覆盖大范围的6D目标姿态需要大量的计算代价。基于同步定位和地图(SLAM)的方法也是基于提取的场景特征跟踪当前位置的很好的替代方法。但它们只计算摄像机在其环境中的相对位置，不能直接应用于特定目标。

基于边缘的跟踪方法也被广泛应用于无纹理目标的跟踪，在特定环境下也取得了良好的效果。快速尝试从CAD模型的三维边缘中定期采样控制点的投影附近寻找强梯度，使二维图像边缘与相应三维边缘之间的距离最小化。近年来提出的几种改进方法使其更具鲁棒性和有效性。这些方法需要较少的计算量，同时对错误的3D二维边缘对敏感。

基于边缘的显式边缘识别方法首先检测更高层次的边缘特征，如线段、圆(椭圆)、角点等，然后将提取的特征与三维模型的边缘建立对应关系，以识别目标物体。机舱舱口盖是一种无纹理物体，不同的舱口盖可能具有相似的形状。现有的基于边缘的方法只关注目标物体的形状，忽略了它们的位置关系，在识别具有相似形状的不同舱盖时存在局限性。

该研究提出了一种结合形状和位置描述的基于边缘的覆盖层识别与跟踪方法，帮助操作人员实时识别相似的覆盖层，获得不同的装配检测要求，该方法计算效率高，跟踪精度好。该方法解决了传统飞机装配检测中的一个关键问题。

图为拟议方法概述

图为边缘特征提取流水线。(a)典型的舱口盖。(b)覆盖c. (c)轮廓检测。(d)轮廓筛。(e)角提取。(f)质心提取。(g)角排序

对于位置描述，研究者尝试记录目标覆盖与其相邻覆盖之间的相对位置关系。在该研究中，相邻的覆盖指在八个不同方向上与目标覆盖最近的八个覆盖，如图所示。

图中(a)目标盖(绿色圆)八个相邻盖(蓝色圆)在八个方向上的位置描述，(b)目标覆盖的位置描述(绿色轮廓)

利用AR技术对飞机舱口盖内部设备的检测进行了仿真研究。研究者的实验是在一个简化的飞机舱室外壳模型上进行的，该模型由9个舱口盖组成(见图)。

图为开发的原型系统

图中显示掩护识别结果。(a)用于生成参考覆盖描述符的CAD模型。(b)角提取。(c)覆盖形状分析。(d)覆盖位置分析

一旦通过匹配在线描述符和参考描述符来识别第一张封面，视觉测定仪就开始跟踪摄像机的实时姿态和轨迹。根据使用EPnP方法计算的相应的覆盖位姿，将指导信息叠加到实际场景中。然后，将所识别的盖子作为地标，以便在摄像机移动时识别其他盖子。

图为摄像机轨迹跟踪和信息叠加。较大的顶点(粉红色圆圈)代表盖地标，较小的顶点(蓝色圆圈)代表摄像机的轨迹。

为了验证该方法的实用性，开发了一个增强现实辅助罩内设备安装检测系统。该系统采用上述平板平台进行直观的引导信息显示，即覆盖型信息、虚拟三维模型和模型树结构，以及一些简单的检查说明。

图为增强现实-辅助罩内装置安装检查系统

通过分析覆盖的形状和位置分布，研究者的方法在识别具有相似形状的不同覆盖方面取得了良好的性能，如图所示。

图为形状相似的不同盖子的识别

研究结论

针对平板电脑平台上的增强现实辅助检测系统，提出了一种基于边缘的舱口盖识别与跟踪方法，以支持形状相似的不同舱口盖的识别，并叠加增强检测引导信息。

首先，研究者提出一种边缘特征来简单描述图像轮廓，以减少图像搜索空间和节省计算时间。其次，通过分析目标覆盖的形状和位置分布来识别形状相似的目标覆盖;为了提高算法的鲁棒性，提出了一种结合掩体地标位置描述的摄像机位姿轨迹跟踪方法。最后，根据与摄像机相关的实时覆盖姿态叠加增强信息。

通过实验验证了该算法的实用性和实时性。此外，还对该方法的定位精度进行了研究，结果表明，该方法在基于增强现实的检测制导中具有足够的跟踪精度。然而，该研究提出的方法仍有一些改进之处。视觉惯性里程计是一个有效的研究方向。

此外，该研究提出的方法目前主要关注相机的运动和轨迹与覆盖地标的结合。另一个研究方向是建立一个完整的具有后端优化和关闭循环检测的语义SLAM框架，以及带有封面标签的地图。该方法的主要功能是识别不同的舱盖和叠加增强信息。内部设备的识别和安装检查工作主要由用户完成。另外增加设备内部识别和姿态估计方法，帮助用户进行设备安装检查工作，也是研究者后续工作的一个研究方向。

参考文献：Xu Yang, Xiumin Fan, Jikai Wang, Xuyue Yin & Shiguang Qiu Edge-based cover recognition and tracking method for an AR-aided aircraft inspection system  The International Journal of Advanced Manufacturing Technology (2020)