zju3dv/Murre

解决的问题

Murre 解决了从图像中进行高质量多视角 3D 重建的挑战。它通过使用结构光运动（SfM）生成的稀疏深度数据来引导过程，改进了标准的单目深度估计，从而实现更准确且一致的 3D 重建。

工作原理

该系统分为三个主要阶段：

1. SfM 解析：解析 COLMAP 结果，提取稀疏深度图、相机内参和位姿。
2. SfM 引导的深度估计：使用基于 Marigold 的单目深度估计模型，以稀疏 SfM 数据作为引导，预测高密度深度图，确保多视角之间的几何一致性。
3. TSDF 融合：使用截断符号距离函数（TSDF）融合，将生成的高密度深度图和相机参数融合，创建最终的 3D 重建结果。

适用人群

从事计算机视觉、3D 场景重建和空间人工智能的研究人员和开发者，需要从一组图像中生成高精度高密度 3D 模型的用户。

主要亮点

• SfM 集成：将稀疏且可靠的 SfM 点与密集的单目深度预测相结合。
• 鲁棒过滤：包含重投影误差和最小共可见视图数的阈值，以去除噪声深度估计。
• 灵活分辨率：通过处理分辨率设置，允许用户在推理速度和重建精度之间进行权衡。
• 场景适应性：通过可调的深度裁剪参数，支持室内和室外场景。