xibushu/UniForge3D

Official implementation of “UniForge3D: Joint 3D Reconstruction and Generation in a Shared Anchor-Guided Space.”

UniForge3D – 联合 3D 重建与生成

功能特点

仅需少量未对齐的稀疏物体照片即可生成完整的 3D 资产。
该模型在共享的“锚点引导”潜在空间内，学习重建观测到的几何结构，同时生成缺失的部分。
结构引导的视图选择步骤可保留输入图像中出现的精细细节。

核心价值

传统的 3D 重建需要大量校准视图；UniForge3D 仅需少量无序照片即可工作，降低了创建 3D 资产的门槛。
通过将重建与生成式补全相结合，它可以合理地填充遮挡区域，适用于内容创作、AR/VR 和机器人仿真。

安装

# 克隆仓库并运行提供的安装脚本
git clone https://github.com/xibushu/UniForge3D.git
cd UniForge3D
bash setup.sh   # 安装依赖，构建环境
conda activate uniforge3d

该脚本会创建一个名为 uniforge3d 的 Conda 环境，安装所需的 Python 包，并从 Hugging Face 下载预训练权重。

运行推理

将每个物体的输入图像整理到 assets/ 下的各自文件夹中：

assets/
├── case01/
│   ├── 001.png
│   ├── 002.png
│   └── ...
└── case02/ …

执行推理脚本：

python infer.py

该脚本会加载预训练模型，选择信息丰富的视图，并为每个案例输出生成的 3D 网格（以及可选的纹理）。

关键组件与影响

基于 Microsoft 的 TRELLIS.2 和 Facebook-Research 的 VGGT 代码库构建，继承了它们的多视图几何处理能力和大规模生成式 Transformer 主干网络。
使用 BRIA RMBG-2.0 背景移除工具作为预处理步骤（需要单独的商业许可）。

许可协议

本仓库的源代码采用 MIT License 发布。
模型权重不属于 MIT 许可：它们继承了原始许可（例如，VGGT-1B 为 CC BY-NC 4.0，BRIA RMBG-2.0 有其自身的商业使用限制）。

引用如果您在学术工作中使用 UniForge3D，请引用 arXiv 论文：

@article{chen2026uniforge3d,
  title   = {UniForge3D: Joint 3D Reconstruction and Generation in a Shared Anchor-Guided Space},
  author  = {Chen, Wenjue and Chen, Wenyue and Zheng, Heliang and Jia, Rongfei and Liu, Yuan and Li, Meng},
  journal = {arXiv preprint arXiv:2610.15357},
  year    = {2026}
}

更多信息

项目页面（含视觉效果）：https://xishuxishu.github.io/uniforge3d-project/
Hugging Face 上的预训练模型：https://huggingface.co/xibushu/UniForge3D
完整论文 (arXiv)：https://arxiv.org/abs/2610.15357

xibushu/UniForge3D

UniForge3D – 联合 3D 重建与生成

相关