论文标题：CAD-NeRF: learning NeRFs from uncalibrated few-view images by CAD model retrieval

期刊：Frontiers of Computer Science

作者：Xin WEN, Xuening ZHU, Renjiao YI, Zhifeng WANG, Chenyang ZHU, Kai XU

发表时间：18 Sept 2024

DOI：10.1007/s11704-024-40417-7

微信链接：点击此处阅读微信文章

引用格式：

Xin WEN, Xuening ZHU, Renjiao YI, Zhifeng WANG, Chenyang ZHU, Kai XU. CAD-NeRF: learning NeRFs from uncalibrated few-view images by CAD model retrieval. Front. Comput. Sci., 2025, 19(10): 1910706

阅读原文：

问题概述

针对从无位姿信息的少视角图像重建NeRF问题，国防科技大学徐凯教授团队撰写了该研究论文。

针对真实物体图像数量有限且难以获取相机位姿信息的挑战场景，本文旨在探索在缺乏图像数据（即无位姿信息）的情况下，如何通过少量视角的图像有效重建神经辐射场，以生成高质量的新视角图像。

技术步骤

首先，我们提出了一种多视图位姿检索方法，利用目标物体的剪影从CAD库中检索出与输入图像相似的几何形状和相机位姿。具体而言，利用输入图像的顺序信息，将其转化为两个序列A和B的匹配问题，在保证图像编号按升序排列的前提下，提出基于剪枝回溯的多视角匹配算法在序列库B中查找与目标序列A的最佳匹配，进而获取相近的位姿和相似的CAD模型。随后，我们使用该CAD模型作为密度场的初始监督，并根据检索到的初始位姿采样光线，生成三维点并输入形变、密度和颜色网络中，共同优化相机位姿、形变网络、颜色场和密度场，直至网络收敛。为了防止因训练图像数量过少而产生的过拟合问题，相机位姿仅优化一定的迭代次数后固定。当输入图像包含背景时，从物体和背景中分别采样点输入网络，其余步骤与无背景图像的情况相同。

CAD-NeRF的整体框架图

输入图像带背景的训练框架图

实验结果

大量实验结果表明，基于本文提出的CAD-NeRF技术在多个合成数据集及真实物体数据集中达到了少视角图像的重建和新视角生成的领先水平，多个消融实验也验证了方法模块的有效性。

中国学术前沿期刊网

http://journal.hep.com.cn