新型校准阵列相机,可高效合成三维视图!

   电子分析员        

在计算机图形学和三维成像应用中,使用一组图像与纹理贴图生成三维网格来恢复三维(3D)坐标一直备受关注。这项工作旨在提出一种自适应视图选择(AVS)的方法,该方法在计算复杂度和图像质量(峰值信噪比(PSNR))方面确定使用3D网格和纹理生成合成结果的最佳图像数量。所有25幅图像都是由一组相机以5×5阵列结构采集的,并且已经进行了整流。为了生成网格,通过计算匹配特征点之间的差距进行深度图提取。通过充分利用图像中包含的内容进行合成,然后进行纹理映射。


相关论文以题为“Adaptive View Sampling for Efficient Synthesis of 3D View Using Calibrated Array Cameras”与2021年01月04日发表在《Electronics》上。


新型校准阵列相机,可高效合成三维视图!


现实世界场景的树状三维(3D)坐标为三维几何和光度重建提供了丰富的信息。重建工作一直被认为是计算机视觉领域的主要目标之一。此外,视图合成在计算机图形学、3D成像、3D渲染和虚拟/增强现实等多样化的应用中也引起了极大的兴趣。由于计算机硬件的显著改进,人们可以快速、准确地实现三维渲染、视图合成和三维重建。


在重建工作中,主要有两种方法被广泛使用:一种称为被动法,另一种称为主动法。虽然这两种方法被认为是传统的方法,但在实际工作中仍能提供准确、稳定的重建结果。被动法使用多个位于不同位置的摄像头(通常是两个), 主动法使用一个摄像头和一个光源. 被动法和主动法基本上都遵循由摄像机、光源和三维物体的一个点的位置所定义的三角测量原则。


在被动式方法中,所有的摄像机具有不同的视角,拍摄同一个目标物体,目标物体在三维空间中的任何一点都被投射到二维图像平面上,每个平面都属于每台摄像机。摄像机的不同位置在图像之间产生相对的旋转和平移。立体视觉采用两台摄像机,具有实验设置简单、算法和数学模型简洁的优点。


一般来说,为了计算目标物体的三维坐标,立体视觉算法要实现高精度的特征提取和成功的对应匹配,从而实现高精度的差距和深度估计。摄像机标定是估计摄像机内外参数的工作,是精确三维测量最关键的工作之一。内部参数由焦距、偏度系数和图像的主点组成。外部参数包括光学中心的相对旋转和平移。


通过增加摄像机的数量,计算复杂度也会相应增加,但在本文中,研究人员提出了一种图像自适应选择的视图合成方法。换句话说,研究人员证明了小于25张图像可以生成一个场景的3D表示与网格和纹理贴图,同时保留了使用25张图像的结果质量。


在本文中,研究人员通过展示计算复杂度和图像质量,描述了如何寻找能够生成可靠的网格生成和纹理贴图结果的3D视图合成结果的最佳输入图像数量。特别是,为了找到三维合成的最佳图像数量,根据输入图像的内容确定采样准则。图像与对应的深度图之间进行特征匹配,提供目标场景的最佳覆盖范围,使重叠区域最小化。本工作概述如图1所示。


新型校准阵列相机,可高效合成三维视图!


图1.使用阵列相机的一组图像生成扩展的3D视图的流程图。


用于合成的深度图生成


在现有的光场相机工作中,光场采样的密度是保证渲染或三维建模结果质量的关键。除非密集采样,否则渲染结果会呈现出模糊的效果。由于渲染或建模结果是部署在三维空间中的,因此希望得到高质量的深度图,本工作在生成深度图的同时,对物体进行遮挡检测和预分割,从而得到更好的深度图质量。


25个摄像头位于不同的位置,这种阵列结构可以处理双视角系统固有的遮挡。换句话说,研究人员可以从25个相机中选择任何可能的图像对进行校准,因此可以选择一对包含最小的遮挡量的图像。


由于选择的必要性,研究人员提出了一种自适应视图选择,这是本文的主要贡献。单台摄像机总是有视场角的限制,因为视场角是摄像机的固有特性,与硬件密切相关,不易改变,导致改变视场角以获取大范围场景的成本很高。


目前已经有作品针对宽广的FOV效果开发了软件技术,但基于软件的FOV也有局限性。目前采用最多的是视图合成或图像拼接,利用多个单机实现FOV效果。


SIFT减轻了对用于合成的图像的顺序、图像的方向、相对照度以及添加在图像中的噪声的依赖性。一旦特征检测完成,一对图像的图像之间进行特征匹配(使用随机样本共识(RANSAC))。由于使用了25幅图像,所以不仅相邻的图像,而且在阵列中选择任意一对图像。图2显示了阵列相机拍摄的图像和使用RANSAC算法进行特征匹配的例子。


新型校准阵列相机,可高效合成三维视图!


图2. 一旦使用SIFT从两个相邻的图像(a,b)提取特征,使用RANSAC(c)进行图像之间的特征匹配。


两幅图像之间的视差会产生遮挡,如图3所示,不可能进行差距计算。然而,阵列相机可以缓解这个问题,因为有其他视点,可以缓解只有双视点系统(立体相机系统)的限制。


新型校准阵列相机,可高效合成三维视图!


图3. 差距估计是通过计算两个相邻图像(a,b)的水平坐标的差异来进行的。


与通常的立体视觉方法相反,本工作使用了25个摄像头,每个摄像头位于不同的位置,并对遮挡问题进行了说明,由于有多个(两个以上)视点,因此可以解决遮挡问题。视点的数量使研究人员能够用25个图像生成质量可靠的深度图。


结论


本文介绍了一种利用网格和纹理贴图对真实世界场景进行高效3D表示的方法。特别是,这项工作提出了AVS,它确定了最佳的图像数量,可以提供一个可靠的扩展3D视图的结果,而不会有相当大的质量损失。


本工作分析了通过改变图像数量的计算复杂性和图像质量。根据图像所包含的内容进行图像的选择,以达到全面覆盖的目的。由于三维渲染或三维重建工作由于图像的大小而牺牲了计算效率,因此本工作主要涉及效率和简单性。


当然,精确的三维重建是非常重要的,但是,由于资源有限,如高成本的硬件或设备的大小,导致考虑现实的方面。本工作从生成所有图像的深度图和特征提取开始,生成3D网格。


为此,本工作提出了一种用AVS方法合成图像和深度图图像(灰度)的方法。本工作与现有工作不同的是,本工作不仅可以合成二维图像,还可以合成灰度深度图图像,并利用二者来缓解局限性。2D图像缺乏深度信息,而深度图缺乏特征点。在深度图和彩色图像之间进行注册,生成合成图像和深度图。


通过合成的深度图,将纹理映射到扩展的深度图上。深度图合成是一个具有挑战性的问题,因为与彩色图像的特征点数量相比,只有深度图缺乏特征点。这项工作仍有局限性,因为它取决于深度估计的质量。未来的工作将集中在开发一个基于深度神经网络的3D视图合成框架。


论文链接:https://www.mdpi.com/2079-9292/10/1/82/htm



最新评论(0)条评论
不吐不快,我来说两句

还没有人评论哦,抢沙发吧~

相关新闻推荐