xibushu/UniForge3D

Official implementation of “UniForge3D: Joint 3D Reconstruction and Generation in a Shared Anchor-Guided Space.”

UniForge3D – 3D 재구성 및 생성 통합

기능

정렬되지 않은 소수의 사진에서 완전한 3D 에셋을 생성합니다.
모델은 공유된 "앵커 가이드" 잠재 공간 내에서 관찰된 기하학적 구조를 재구성하고 누락된 부분을 생성하는 방법을 학습합니다.
구조 가이드 뷰 선택 단계를 통해 입력 이미지에 나타나는 미세한 디테일을 유지합니다.

중요성

기존의 3D 재구성은 많은 보정된 뷰가 필요했지만, UniForge3D는 소수의 순서 없는 사진으로 작동하여 3D 에셋 제작의 장벽을 낮춥니다.
재구성과 생성적 보완을 결합하여 가려진 영역을 자연스럽게 채울 수 있으며, 콘텐츠 제작, AR/VR 및 로봇 시뮬레이션에 유용합니다.

설치

# 저장소를 복제하고 제공된 설정 스크립트를 실행합니다
git clone https://github.com/xibushu/UniForge3D.git
cd UniForge3D
bash setup.sh   # 의존성 설치 및 환경 구축
conda activate uniforge3d

이 스크립트는 필요한 Python 패키지가 포함된 uniforge3d라는 Conda 환경을 생성하고 Hugging Face에서 사전 학습된 가중치를 다운로드합니다.

추론 실행

각 물체의 입력 이미지를 assets/ 아래의 개별 폴더에 정리합니다:

assets/
├── case01/
│   ├── 001.png
│   ├── 002.png
│   └── ...
└── case02/ …

추론 스크립트를 실행합니다:

python infer.py

스크립트는 사전 학습된 모델을 로드하고 정보가 풍부한 뷰를 선택하여 각 사례에 대해 생성된 3D 메시(및 선택적으로 텍스처)를 출력합니다.

주요 구성 요소 및 영향

Microsoft의 TRELLIS.2 및 Facebook-Research의 VGGT 코드베이스를 기반으로 구축되어, 다중 뷰 기하학 처리 및 대규모 생성 트랜스포머 백본을 계승합니다.
전처리 단계로 BRIA RMBG-2.0 배경 제거를 사용합니다(별도의 상업용 라이선스 필요).

라이선스

저장소 자체의 소스 코드는 MIT License 하에 공개됩니다.
모델 가중치는 MIT 라이선스가 아닙니다: 원래 라이선스를 계승합니다(예: VGGT-1B는 CC BY-NC 4.0, BRIA RMBG-2.0은 자체 상업적 사용 제한이 있음).

인용 학술 연구에서 UniForge3D를 사용하는 경우 arXiv 논문을 인용하십시오:

@article{chen2026uniforge3d,
  title   = {UniForge3D: Joint 3D Reconstruction and Generation in a Shared Anchor-Guided Space},
  author  = {Chen, Wenjue and Chen, Wenyue and Zheng, Heliang and Jia, Rongfei and Liu, Yuan and Li, Meng},
  journal = {arXiv preprint arXiv:2610.15357},
  year    = {2026}
}

추가 정보

프로젝트 페이지(시각적 결과 포함): https://xishuxishu.github.io/uniforge3d-project/
Hugging Face의 사전 학습된 모델: https://huggingface.co/xibushu/UniForge3D
논문 전문 (arXiv): https://arxiv.org/abs/2610.15357

xibushu/UniForge3D

UniForge3D – 3D 재구성 및 생성 통합

관련