zju3dv/Murre

何を解決するか

Murreは、画像からの高品質なマルチビュー3D再構成の課題に対処します。構造から運動（SfM）から得られるスパースな深度データでプロセスをガイドすることで、標準的な単眼深度推定を改善し、より正確で一貫性のある3D再構成を実現します。

動作方法

システムは3つの主要な段階で動作します：

1. SfMの解析：COLMAPの結果を解析してスパース深度マップ、カメラの内部パラメータ、姿勢を抽出します。
2. SfMガイド付き深度推定：Marigoldに基づく単眼深度推定モデルを使用して、スパースなSfMデータをガイドとして用いて、複数ビュー間の幾何学的整合性を確保する高密度深度マップを予測します。
3. TSDF融合：得られた高密度深度マップとカメラパラメータを、切り捨てられた符号付き距離関数（TSDF）融合により統合し、最終的な3D再構成を生成します。

対象ユーザー

コンピュータビジョン、3Dシーン再構成、空間AI分野で作業する研究者や開発者で、画像セットから高精度な高密度3Dモデルが必要な方々。

特徴

• SfMの統合：スパースで信頼性の高いSfM点と高密度な単眼深度予測を組み合わせます。
• ロバストなフィルタリング：再投影誤差と最小共可視ビュー数の閾値を含み、ノイズの多い深度推定を除去します。
• 柔軟な解像度：処理解像度の設定により、推論速度と再構成精度のトレードオフをユーザーが調整できます。
• シーンの適応性：深度クリッピングパラメータを調整可能で、屋内・屋外の両方のシーンに対応します。