WHU-USI3DV/VistaDream

VistaDream – 単一の写真から 3D シーンを再構築

機能
VistaDream は、単一の RGB 画像を完全な 3D シーンに変換できる研究グレードの Python ライブラリ（PyTorch）です。追加のトレーニングなしでこれを実現します。既存の拡散ベースの画像生成器と深度推定器を再利用し、トレーニング不要の多視点一貫性ステップを追加して、合成された新しいビューが互いに一致するようにします。

重要性
現在のほとんどの 3D 再構築パイプラインは、多くのキャリブレーション済み写真または高コストの最適化ループを必要とします。VistaDream は、拡散モデルを巧妙にサンプリングすることで、1 枚の画像から高品質で多視点一貫性のあるレンダリングを取得できることを示し、AR/VR、ゲーム、視覚効果のための迅速なコンテンツ作成への扉を開きます。

主要コンポーネント

ステージ	何が起こるか	使用される主要ツール
1️⃣ グローバル足場	画像の境界を外描きし、深度マップを推定することで粗い 3D レイアウトを構築します。	Fooocus（拡散インペインティング）、Depth-Pro / Prior-Depth-Anything（深度）、スパースビュー足場用のオプションの VGGT
2️⃣ 反復 RGB-D インペインティング	拡散ベースのインペインティングを使用して、足場を新しいビューの RGB-D 画像で埋めます。	上記と同じ拡散モデル
3️⃣ 多視点一貫性サンプリング（MCS）	逆拡散ステップ中に、追加の制約がすべての生成ビューを強制的に一致させ、一貫性のあるシーンを生成します。	純粋にアルゴリズム的 – 追加トレーニングなし

試し方

1. 環境をインストールします（リポジトリは依存関係の問題を避けるために Codex などのコーディングアシスタントを使用することを推奨しています）。
2. bash download_weights.sh を実行して、必要な事前学習チェックポイント（Fooocus、Depth-Pro など）を取得します。
3. 単一ビューのデモには python demo.py を、スパース画像がある場合は python demo_sparse.py を実行します。
4. 出力にはガウス場ファイル（scene.pth）と RGB（および深度）レンダリングの MP4 ビデオが含まれます。フィールドは PLY ファイルにエクスポートし、SuperSplat ウェブビューアで視覚化できます。

必要なもの

• Ubuntu 20.04（テスト済み）
• ハイエンド GPU（例：RTX 4090）。拡散推論は GPU 集約的です。
• Conda 環境 vdplus（INSTALL.md を参照）。

現在のステータス

• ICCV 2025 で採択、ジャーナル版は IEEE TPAMI（2026）。
• コードはトレーニング不要ですが、いくつかの外部事前学習モデルに依存しています。
• ブランチ（moge3-lbd）は、品質向上のためのアップグレードされた深度モジュール（MoGe-3、LingBot-Depth）を追加します。

誰が使うか

• 拡散ベースの 3D 合成を探求する研究者。
• 単一の参照写真から 3D アセットをプロトタイプしたいクリエイター。
• 高速でその場でのシーン生成を必要とする AR/VR パイプラインを構築する開発者。

---

上記のすべての情報はリポジトリの README から直接取得されています。追加の機能は想定されていません。