haoz19/world-tracing

解決する問題

World Tracing は、オブジェクトまたはシーンの可視表面のみをキャプチャする標準的な単眼深度マップの制限に対処します。 「レイヤー化されたジオメトリ」を予測し、前景の背後にある可視および部分的に遮蔽された表面の 3D 構造を推定できるようにします。

仕組み

このプロジェクトは、フローマッチング拡散モデルを使用して、単一の画像から複数の登録済み XYZ マップ（点群）を予測します。単一のフォワードパスで複数のジオメトリレイヤーを生成し、可視表面を超えた 3D スキャフォールドを作成します。3 つの主要なモードをサポートしています：

• オブジェクトモード：RGBA 画像から単一オブジェクトのジオメトリを予測します。
• シーンモード：RGB 画像から環境全体のジオメトリを予測します。
• ダイナミックモード：16 フレームのビデオクリップに対して、時間経過に伴う 3D 点群を予測します。

対象ユーザー

このツールは、3D ビジョン、生成 AI、画像から 3D への再構築に取り組む研究者や開発者向けに設計されています。メッシュ生成などの下流タスクのために、単純な深度マップよりも豊かな 3D 表現を必要とするユーザーに特に役立ちます。

ハイライト

• 可視を超えたジオメトリ：遮蔽された表面を予測し、より完全な 3D 構造を提供します。
• 多層出力：包括的な 3D スキャフォールドを形成する複数の XYZ マップを生成します。
• ビデオサポート：短いビデオクリップの動的な 3D ジオメトリを予測できます。
• メッシュ統合：予測された点群をテクスチャ付き GLB メッシュに変換するための TRELLIS.2 へのブリッジが含まれています。
• 内部パラメータ復元：外部のポーズ推定器を必要とせずに、予測されたジオメトリから直接カメラ内部パラメータを解くことができます。