xibushu/UniForge3D

Official implementation of “UniForge3D: Joint 3D Reconstruction and Generation in a Shared Anchor-Guided Space.”

UniForge3D – 3D再構成と生成の統合

機能

未調整の少数の写真から、完全な3Dアセットを生成します。
モデルは、共有の「アンカーガイド付き」潜在空間内で、観測されたジオメトリを再構成しつつ、欠損部分を生成することを学習します。
構造ガイド付きのビュー選択ステップにより、入力画像に現れる微細なディテールが保持されます。

重要性

従来の3D再構成には多数のキャリブレーション済みビューが必要でしたが、UniForge3Dは少数の順不同な写真で動作するため、3Dアセット作成のハードルが下がります。
再構成と生成による補完を組み合わせることで、遮蔽された領域を自然に埋めることができ、コンテンツ制作、AR/VR、ロボットシミュレーションに役立ちます。

インストール

# リポジトリをクローンし、提供されたセットアップスクリプトを実行します
git clone https://github.com/xibushu/UniForge3D.git
cd UniForge3D
bash setup.sh   # 依存関係のインストールと環境構築
conda activate uniforge3d

このスクリプトは、必要なPythonパッケージを含む uniforge3d という名前のConda環境を作成し、Hugging Faceから事前学習済みウェイトをダウンロードします。

推論の実行

各物体の入力画像を assets/ 配下の個別のフォルダに整理します：

assets/
├── case01/
│   ├── 001.png
│   ├── 002.png
│   └── ...
└── case02/ …

推論スクリプトを実行します：

python infer.py

スクリプトは事前学習済みモデルをロードし、情報量の多いビューを選択して、各ケースの生成された3Dメッシュ（およびオプションでテクスチャ）を出力します。

主要コンポーネントと影響

Microsoftの TRELLIS.2 および Facebook-Researchの VGGT コードベースを基盤としており、それらのマルチビュージオメトリ処理と大規模生成トランスフォーマーのバックボーンを継承しています。
前処理ステップとして BRIA RMBG-2.0 背景除去を使用します（別途商用ライセンスが必要です）。

ライセンス

リポジトリ自体のソースコードは MIT License の下で公開されています。
モデルのウェイトは MITライセンスではありません：元のライセンスを継承します（例：VGGT-1Bは CC BY-NC 4.0、BRIA RMBG-2.0には独自の商用利用制限があります）。

引用学術研究でUniForge3Dを使用する場合は、arXiv論文を引用してください：

@article{chen2026uniforge3d,
  title   = {UniForge3D: Joint 3D Reconstruction and Generation in a Shared Anchor-Guided Space},
  author  = {Chen, Wenjue and Chen, Wenyue and Zheng, Heliang and Jia, Rongfei and Liu, Yuan and Li, Meng},
  journal = {arXiv preprint arXiv:2610.15357},
  year    = {2026}
}

詳細情報

プロジェクトページ（視覚的結果あり）：https://xishuxishu.github.io/uniforge3d-project/
Hugging Face上の事前学習済みモデル：https://huggingface.co/xibushu/UniForge3D
論文全文 (arXiv)：https://arxiv.org/abs/2610.15357

xibushu/UniForge3D

UniForge3D – 3D再構成と生成の統合

関連