zju3dv/Murre

解決的問題

Murre 解決了從影像中進行高品質多視角 3D 重建的挑戰。它透過使用結構光運動（SfM）產生的稀疏深度資料來引導過程，改善標準的單目深度估計，從而實現更精確且一致的 3D 重建。

工作原理

該系統分為三個主要階段：

1. SfM 解析：解析 COLMAP 結果，提取稀疏深度圖、相機內參數和位姿。
2. SfM 引導的深度估計：使用基於 Marigold 的單目深度估計模型，以稀疏 SfM 資料作為引導，預測高密度深度圖，確保多視角之間的幾何一致性。
3. TSDF 融合：使用截斷符號距離函數（TSDF）融合，將生成的高密度深度圖和相機參數融合，創建最終的 3D 重建結果。

適用對象

從事電腦視覺、3D 場景重建和空間人工智慧的研究人員與開發者，需要從一組影像中生成高精度高密度 3D 模型的使用者。

主要亮點

• SfM 集成：將稀疏且可靠的 SfM 點與密集的單目深度預測結合。
• 強健過濾：包含重投影誤差和最小共可見視角數的閾值，以去除雜訊深度估計。
• 靈活解析度：透過處理解析度設定，允許使用者在推論速度與重建精確度之間進行權衡。
• 場景適應性：透過可調的深度裁剪參數，支援室內與室外場景。