在室内作业时,这种系统可以给予精准的定位!

   自动化那些事        

在该研究中,研究者提出了一个估计运动RGB-D摄像机轨迹的系统,并应用于建立大型室内环境的地图。与目前大多数的研究不同,研究者提出了一个基于特征模型的RGB-D视觉测程系统,用于计算受限的移动平台,其中特征模型是持久的,并使用卡尔曼滤波从新的观测数据动态更新。


该研究提出了一种用于深度随机噪声估计的混合高斯模型,该模型用于描述特征点云的空间不确定性。此外,研究者还介绍了一种通用的深度标定方法,以消除RGB-D相机深度读数中的系统误差。研究者提供了全面的理论和实验分析,证明研究者的基于模型的迭代逼近点(ICP)算法可以获得比传统ICP更高的定位精度。本文以“RGB-D camera calibration and trajectory estimation for indoor mapping”为题于2020年8月17日发布于《Autonomous Robots》杂志上。

在室内作业时,这种系统可以给予精准的定位!


研究背景


RGB-D相机是一种提供两种并行图像流的设备:一种是传统的彩色图像,另一种是深度图像,深度图像包含相机到每个被观察像素沿光轴的距离的测量值。这两幅图像可以一起使用,以获得一个密集,纹理的三维模型的观察场景。

在室内作业时,这种系统可以给予精准的定位!


图为用研究者的系统从rgb-d数据构建三维地图的自顶向下和侧面视图


RGB-D数据的特性,加上当前设备的低成本,使得RGB-D相机在计算机视觉和机器人领域非常受欢迎。


研究者首先检查准确度和精密度RGB-D相机产生的深度图像。精确是指测量与真理的接近,而精度是指在相同条件下重复测量的变化。与激光扫描仪等价格较高的距离敏感相机相比,RGB-D相机的精度和精度都较低。

在室内作业时,这种系统可以给予精准的定位!


图为用RGB-D相机测量平墙获得的点云的自顶向下的视图


为了解决上述问题,研究者提出了一种每像素多项式模型校正技术来消除深度读数中的偏差。改进深度标定的实现,以达到实时应用的目的,但不影响深度分辨率的降低。研究者通过实验证明,数据的解译对依赖深度读数的视觉测定仪和绘图算法的性能有很大的影响。


研究者进一步建立了每个像素深度读数的不确定性模型。这种不确定性是基于局部邻域窗口中像素深度读数的高斯混合模型。当将每个三维点作为概率分布处理时,标定技术可以准确地确定均值,而不确定度模型则可以预测标准差。


概率测量模型构成了一条用于轨迹估计的视觉测斜仪管道的基础。研究者首先计算输入的RGB-D图像中稀疏特征的位置,以及它们在摄像机帧中对应的三维坐标。接下来,研究者将这些特征与以固定坐标系表示的三维特征的全局模型数据集对齐。在计算变换后,用新的数据对模型进行扩充。研究者将RGB-D图像中的特征与模型中的特征关联起来,并利用卡尔曼滤波框架将不确定性作为空间协方差进行更新。图像中任何不能关联的特征都会作为新的地标插入到模型集中。


随着新数据的积累,模型(从空开始)的大小逐渐增大。为了保证恒定时间的性能,研究者在模型可以包含的点数上设了一个上限。


定义了一个RGB-D图像作为一个有3个标准颜色通道的图像和一个额外的深度频道。深度通道包含相机光学中心到场景的距离(以米为单位),沿摄像机光轴。研究者采用了标准的摄像机坐标帧约定。z指向光轴的轴。研究者期望RGB-D图像有完整的颜色信息,不完整的,但非常密集的深度信息。


RGB-D相机通常会输出由两台独立相机RGB和红外产生的颜色和深度图像,每个摄像机都有自己的固有参数和失真系数。该设备和它的软件驱动程序可能有一个内置的校准两个相机的本质,以及他们之间的外在姿态。

在室内作业时,这种系统可以给予精准的定位!


图为该研究提出的深度偏差标定系统

在室内作业时,这种系统可以给予精准的定位!


图为两个训练对的示例


为了减轻深度读数中噪声的影响,研究者收集到:(1)室内:棋盘,平均1000张连续深度图像;Aruco板,平均2700个连续深度图像;(2)户外:跳棋板,从一个大平面壁面上连续显示约5000幅深度图像。RGB和(平均)深度图像一起形成一对训练对。

在室内作业时,这种系统可以给予精准的定位!


图为室内环境中收集的数据的概述

在室内作业时,这种系统可以给予精准的定位!


图为使用以下方法对图像中两个不同像素的深度校准结果进行比较


一旦恢复系数图像,就可以将它们应用到输入的深度图像中,以“解扭曲”它们,并在每个像素的基础上消除深度读取中的系统偏差。

在室内作业时,这种系统可以给予精准的定位!


图为点云的自上而下的视图

在室内作业时,这种系统可以给予精准的定位!


图为传感器的测试结果

在室内作业时,这种系统可以给予精准的定位!


图为校准后误差

在室内作业时,这种系统可以给予精准的定位!


图为RGB-D相机深度读数的不确定度分析


轨迹估计分为四个步骤:(1)基于灰度图像的特征检测;(2)基于分段的三维反投影和协方差计算;3)基于三维特征点云(模型)的ICP姿态估计;(4)最后,利用卡尔曼滤波对特征点云进行更新。

在室内作业时,这种系统可以给予精准的定位!


图为用于轨迹估计的管道


使用距离或重叠度量来启发式地生成新的关键帧。距离度量触发一个新的关键帧,在当前摄像机姿态之间的线性或角距离(如视觉焦距法所报告的)和最后一个关键帧的相机姿态超过某一阈值(例如,0.3米或30米)时触发新的关键帧。


每个RGB-D关键帧通知一个图中的顶点.顶点由关键帧的6-DoF姿态描述.图中的边缘是用两个关键帧之间的相对位姿来描述的。视觉测量流水线为时间连续的关键帧提供边缘信息.要执行大规模的循环闭合和全局对齐,研究者需要检测一对非连续的关键帧和它们之间的一个相对姿态。一旦建立了该图,研究者就使用非线性图优化器(G)对所有关键帧的姿态进行优化。

在室内作业时,这种系统可以给予精准的定位!


图为位置识别管道


研究者从三个方面对研究者的VO系统进行了评估,并与其他先进的深度校正和定位方法进行了比较,使用研究者的移动平台产生的结果,该平台只有一个Atom 1.6GHz处理器,只有2GBRAM。研究者的开源代码包括该研究中讨论的所有方法,以便于其他研究人员重复这些实验。


在第一个实验中,研究者用RGB-D数据对研究者的视觉测定仪管道进行了定性评估,这些数据记录在没有地面真实数据的室内环境中。相机沿着一个回路移动,并放置在它的起点。研究者复制数据5次,以模拟完全相同的循环。

在室内作业时,这种系统可以给予精准的定位!


图为轨迹估计与持久化模型(左)与帧对帧ICP的比较

在室内作业时,这种系统可以给予精准的定位!


图为模型的大小和实验数据集的大小


在第二组实验中,研究者从弹道精度比较和三维重建误差比较两个角度讨论了深度标定的好处。由于没有这样的公开数据集用于深度校准性能评估,研究者创建了一个基于TUM RGB-D数据集的新数据集。


在第三组实验中,研究者利用运动捕捉相机系统(sturm等人)提供的地面真实轨迹信息,利用公开的rgb-D数据来评估弹道估计的准确性。

在室内作业时,这种系统可以给予精准的定位!


图为室外环境下两种试验的弹道比较

在室内作业时,这种系统可以给予精准的定位!


图为使用华硕Xtion Pro相机进行的大规模三维测绘实验的结果

在室内作业时,这种系统可以给予精准的定位!


图为谷歌花生移动设备的三维地图实验结果


综上所述,图中显示,即使在这两种情况下都执行了基于离线图的优化,无扭曲的数据也会产生更好的结果。未标定实验中地图壁面的系统倾斜可归因于观测平面时未标定深度数据的微凹性,从而导致轨迹估计不正确。


提出了一个用装置获得的数据集进行重建的方法。轨迹是预先计算的,使用视觉惯性测定仪和捆绑调整的组合,完全基于单目(非深度)图像。因此,轨迹与深度偏差无关。然而,消除偏置会导致更清晰的场景重建。


研究结论


在该研究中,研究者提出了一个RGB-D相机深度读数的校准程序和不确定度模型。研究者所描述的方法允许从深度图像构造的三维点被视为具有已知协方差矩阵的零均值多变量高斯分布。这对任何在RGB-D数据上执行计算的系统都很重要,其中精度和准确性非常重要。


研究者展示了校准程序如何影响视觉测程和地图应用的实验证据,并展示了研究者的不确定度估计模型的预测能力,该模型能够更好地估计物体边缘周围的不确定度,比该领域先前发表的公式。校准程序要求棋盘被放置在多个距离和位置的相机,以获得密集的数据,并合理的距离高达4 5米。


此外,研究者提出了一种RGB-D摄像机的视觉测程系统。该系统使用稀疏特征,这些特征是根据一个有大小限制的持久模型注册的。模型通过概率卡尔曼滤波框架进行更新。为了实现这一点,研究者开发了RGB-D图像稀疏特征的三维不确定性公式,基于局部图像窗口读数的高斯混合模型。


最后,研究者提出了一个位置识别程序,用于查找非连续关键帧之间的对应和相对变换,从而实现姿态图SLAM。提出了穷举法和启发式法两种方法,并对后者的识别率进行了评价。


参考文献:Liang Yang, Ivan Dryanovski, Roberto G. Valenti, George Wolberg & Jizhong Xiao RGB-D camera calibration and trajectory estimation for indoor mapping   Autonomous Robots 1485–1503(2020)



最新评论(0)条评论
不吐不快,我来说两句

还没有人评论哦,抢沙发吧~

相关新闻推荐