Page 286 - 《软件学报》2025年第4期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
2025,36(4):1692−1714 [doi: 10.13328/j.cnki.jos.007248] [CSTR: 32375.14.jos.007248] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

*
基于深度学习的多视图立体视觉综述

樊铭瑞 1,2 , 申冰可 1,2 , 牛文龙 1,2 , 彭晓东 1,2,3 , 谢文明 1,2 , 杨 震 1

1
(中国科学院 国家空间科学中心, 北京 100190)
2
(中国科学院大学, 北京 100049)
3
(国科大杭州高等研究院, 浙江 杭州 310024)
通信作者: 牛文龙, E-mail: niuwenlong@nssc.ac.cn

摘 要: 多视图立体视觉在自动驾驶、增强现实、遗产保护和生物医学等领域得到广泛应用. 为了弥补传统多视
图立体视觉方法对低纹理区域不敏感、重建完整度差等不足, 基于深度学习的多视图立体视觉方法应运而生. 对
基于深度学习的多视图立体视觉方法的开创性工作和发展现状进行综述, 重点关注基于深度学习的多视图立体视
觉局部功能改进和整体架构改进方法, 深入分析代表性模型. 同时, 阐述目前广泛使用的数据集及评价指标, 并对
比现有方法在数据集上的测试性能. 最后对多视图立体视觉未来有前景的研究发展方向进行展望.
关键词: 深度学习; 计算机视觉; 三维重建; 多视图立体视觉
中图法分类号: TP18

中文引用格式: 樊铭瑞, 申冰可, 牛文龙, 彭晓东, 谢文明, 杨震. 基于深度学习的多视图立体视觉综述. 软件学报, 2025, 36(4):
1692–1714. http://www.jos.org.cn/1000-9825/7248.htm
英文引用格式: Fan MR, Shen BK, Niu WL, Peng XD, Xie WM, Yang Z. Survey on Multi-view Stereo Based on Deep Learning. Ruan
Jian Xue Bao/Journal of Software, 2025, 36(4): 1692–1714 (in Chinese). http://www.jos.org.cn/1000-9825/7248.htm

Survey on Multi-view Stereo Based on Deep Learning
1,2
1,2
1,2
1,2
FAN Ming-Rui , SHEN Bing-Ke , NIU Wen-Long , PENG Xiao-Dong 1,2,3 , XIE Wen-Ming , YANG Zhen 1
1 、机器人视觉导航
(National Space Science Center, Chinese Academy of Sciences, Beijing 100190, China)
2
(University of Chinese Academy of Sciences, Beijing 100049, China)
3
(Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences, Hangzhou 310024, China)
Abstract: Multi-view stereo (MVS) is widely used in fields such as autonomous driving, augmented reality, heritage conservation, and
biomedicine. To address the limitations of traditional MVS methods, such as insensitivity to low-texture regions and poor reconstruction
integrity, deep learning-based MVS methods have been proposed. This study reviews the pioneering work and current development of deep
learning-based MVS methods. In particular, it focuses on methods for local functional improvement and overall architectural improvement
and analyzes representative models. Meanwhile, the study describes widely used datasets and evaluation metrics and compares the test
performance of existing methods on the datasets. Finally, promising research directions for MVS are presented.
Key words: deep learning; computer vision; 3D reconstruction; multi-view stereo (MVS)
三维重建能够通过传感器获取目标场景信息并恢复目标的三维几何结构, 是计算机视觉领域中一个非常重要
的研究方向. 近年来, 三维重建因其可应用场景的凸显和采样技术的发展受到了越来越多的关注. 它所涉及的场景
主要包括: 生物医学 [1] 、增强/虚拟现实 [2] [3] 、遗产考古 [4] 等. 同时, 采样传感器的便捷性有助于
人们更好地捕获场景信息, 如深度传感器、激光扫描仪和摄像机等. 然而深度传感器捕获的深度图无法满足三维
重建的细节需求, 激光扫描仪的价格也较为昂贵. 相较于深度和激光传感器, 图像数据的获取更为简单方便, 同时

* 基金项目: 中国科学院基础前沿科学研究计划 (22E0223301); 中国科学院青年创新促进会项目 (E1213A02)
收稿时间: 2023-06-28; 修改时间: 2024-02-08; 采用时间: 2024-07-10; jos 在线出版时间: 2024-12-31
CNKI 网络首发时间: 2025-01-02