在无人监管的区域中,对协同道路场景进行“重建”

   自动化那些事        

由于缺乏独特、稳定的关键点,街道场景等动态环境中的场景重建和视觉定位是一个挑战。虽然学习的卷积特征已被证明对观看条件的变化具有鲁棒性,但当从运动中应用于结构时,手工制作的特征在独特性和准确性方面仍然具有优势。


对于汽车队协同重建路段,研究者提出使用多模态域适应作为预处理步骤,在保留手工制作特征优势的同时,使图像在外观上保持一致,并增强不同观看条件下的关键点匹配。训练一个生成式对抗网络,用于不同照明和天气条件下的转换,研究者评估了域适应的定性和定量方面及其对特征对应的影响。


结合多特征判别器,对模型进行了优化,合成的图像不仅提高了特征匹配度,而且表现出较高的视觉质量。本文以“Enhancing collaborative road scene reconstruction with unsupervised domain alignment”为题于2020年11月3日发布于《Machine Vision and Applications》杂志上。

在无人监管的区域中,对协同道路场景进行“重建”


研究背景


运动结构(SfM)、同步定位和测绘(SLAM)和长期视觉定位是近年来活跃的研究领域。所有这些方法都要应对这样的挑战:建立一个未知环境的模型,并通过寻找捕捉到场景的图像之间的对应关系,例如通过智能车辆的摄像头传感器,在这个地图内进行定位。


然而,大多数研究道路场景中本地化的方法都假设场景至少在最初是完全由一个摄像头在一致的环境条件下捕获的。当计算、存储和传输能力有限时,如批量生产的汽车,数据采集无法由单车完成。因此,按需捕捉全世界的道路--尤其是在比较偏远的农村地区--只能通过专门配备的车辆进行数据活动,付出极大的努力才能实现。

在无人监管的区域中,对协同道路场景进行“重建”


图为概念概述


研究者研究将场景重建的任务分配给一个连接的车队,利用已经配备了单目摄像机并连接到数据后端的大量系列生产汽车。每辆经过受影响路段的车辆,只会记录有限数目的影像,并将其传送至后端,在后端可聚合为三维模型及横过现场的图像序列。


由于单个车辆的GPS定位误差是相互独立的,只有通过SfM进行视觉定位才能准确地恢复相对摄像机的姿态。为了能够根据不同的代理捕捉到的图像协同重建场景.,特征匹配必须对环境条件的变化(例如光照和天气)具有较强的鲁棒性。


研究者的初步实验已表明,特别是在农村环境或高速公路上,SfM往往必须依赖容易随时间变化的关键点,从而导致KeyPoint匹配的数量减少,离群点比率增加。虽然基于卷积网络的学习特征对场景外观的这些时间变化具有更强的鲁棒性,基于手工构建的本地关键点的方法,如缩放不变特征变换(Sift)在SfM和目视定位基准方面仍能达到相当的精度。


在道路场景中,由于缺乏地方特征的独特性,更容易出错。在详尽的匹配步骤中,这会导致大量的异常值对应。简而言之,学习和手工制作的特征要么缺乏独特性,要么缺乏可重复性,从而导致不完整或不准确的重构。

在无人监管的区域中,对协同道路场景进行“重建”


图中详细说明了研究者建议的重建管道

在无人监管的区域中,对协同道路场景进行“重建”


图为于编码器(E)、解码器(G)和鉴别器(D)的非配对多模域自适应GaN结构综述

在无人监管的区域中,对协同道路场景进行“重建”


图为所研究的鉴别器结构概述

在无人监管的区域中,对协同道路场景进行“重建”


图为从培训数据集中获取的图像示例


作为预处理步骤,域自适应允许将因光照或天气而严重不同的图像转换成类似的条件。相反,研究者保持在一个完全不受监督的设置中,并且通过使用内容和样式的无纠缠表示,说明域类别中的变化,每个条件包括从多个测试驱动器中获取的图像。


由源域的编码器网络提取图像的内容和样式。将所述内容与新的样式向量相结合,所述目标域的解码器网络生成在所述各自域中显示相同内容的图像。选择的样式决定合成图像的外观。


在训练过程中,从先验高斯分布中随机抽取样式码,从而在训练数据中学习图像外观的连续表示。理论上,为两幅图像选择相同的样式向量,应使图像具有各自独立的场景内容,即视点、静态结构和动态对象,使图像具有互为性。因此,研究者的概念不仅可以用于多域对齐,还可以用于不同测试驱动器在混合观看条件下获取的多模态图像集合。


为了进行培训和评估,研究者使用了一个数据库,该数据库是在德国Ingolstadt附近43公里的一条路线上重复测试驾驶过程中获得的,涵盖了三个主要的公共道路场景:村庄、农村道路和高速公路。研究者选择这些类型的道路,因为它们是SfM和视觉定位最具挑战性的道路,而且到目前为止还没有被学术基准所涵盖。


这些数据是在不同天气(太阳、雾、雨等)记录的。2017年11月至2018年3月,由1.23MP分辨率、46°光圈角和已知的本征参数的单目相机进行照明(白天、黄昏、夜晚)。安装在挡风玻璃后面的摄像机包含一个汽车图像传感器,能够在广泛的动态光照条件下捕获高质量的灰度图像。

在无人监管的区域中,对协同道路场景进行“重建”


图为在专家调查中,对于生成的图像,具有高质量和低质量分数的图像对


在两个实验中,研究者分析了域自适应和对齐对特征匹配和三维重建的影响。第一部分探讨了个别道路场景图像特征对应的变化,第二部分研究了基于街道断面无序图像集合的运动对结构的影响。

在无人监管的区域中,对协同道路场景进行“重建”


图为MUNIT-MFD模型生成的合成图像(中间列)的示例,方法是将从目标域中(右列)的附近参考图像中提取的样式应用到源域(左列)的输入图像中

在无人监管的区域中,对协同道路场景进行“重建”


图为模式下图像对的特征匹配及其不同样式的翻译

在无人监管的区域中,对协同道路场景进行“重建”


图为MUNIT和MUNIT-MFD模型合成条件对雨图像的比较

在无人监管的区域中,对协同道路场景进行“重建”


图为由三个测试点(每列显示一个点)重建相机姿态,稳定并通过区域对齐完成

在无人监管的区域中,对协同道路场景进行“重建”


图为定位在GPS距离内的图像的累积分布

在无人监管的区域中,对协同道路场景进行“重建”


图为来自两个点的图像对的例子是在不同的测试驱动器上捕获的


对于具有密集CNN特征的SfM,结果表明,该描述子对于多域道路场景重建的复杂任务缺乏特异性。


描述了如何通过域自适应来改善观看条件,从而增加特征的数量,从而提高图像的配准率和定位的准确性。进一步的例子比较不同的预处理方法对特征匹配和SfM的影响可以在补充视频中找到。


研究结论


在这项工作中,研究者研究了通过在不同的观看条件下捕获的车队图像来协同重建道路场景的挑战。传统手工特征的匹配在多域设置中会受到阻碍,但在SfM中更有特色,因此研究者提出采用域自适应作为重建前图像集合外观对齐的预处理步骤。


在评价方面,研究者训练了一种多模态域自适应GAN,用于各种道路场景和环境条件,并分析了其对特征对应的影响。研究者的研究证明了区域对齐的潜力,以改进场景重建从多域图像集合。研究者发现,扩展鉴别器结构,增加对梯度和模糊图像的网络操作,可以提高基于边缘的局部特征的恢复,并取得比其他预处理方法更好的结果。


恢复低能见度条件下的特征轨迹和跨域图像对可以使混合天气条件下的图像集合重建更加完整和准确。据研究者所知,该研究提出的方法是第一种利用域自适应来增强多域SfM局部特征匹配的方法。与之前针对特征匹配和视觉定位的工作相比,研究者的概念不仅可以处理多个,而且可以处理多模态域,研究者认为这些域对于研究者所考虑的应用是不可缺少的,并且仍然可以完全无监督地训练。


然而,研究者的结果表明,在未来的工作中,图像外观的精确对齐仍然是一个挑战,特别是考虑到图像采集是在严重变化的条件下或在夜间记录。


参考文献:Moritz Venator, Selcuk Aklanoglu, Erich Bruns & Andreas Maier Enhancing collaborative road scene reconstruction with unsupervised domain alignment  Machine Vision and Applications 13 (2021)



最新评论(0)条评论
不吐不快,我来说两句

还没有人评论哦,抢沙发吧~

相关新闻推荐