WHU-USI3DV/VistaDream

VistaDream – 단일 사진에서 3D 장면 재구성

기능
VistaDream은 단일 RGB 이미지를 완전한 3D 장면으로 변환할 수 있는 연구용 Python 라이브러리(PyTorch)입니다. 추가 훈련 없이 이를 수행합니다. 기존의 확산 기반 이미지 생성기와 깊이 추정기를 재사용한 다음, 훈련 없는 다중 뷰 일관성 단계를 추가하여 합성된 새로운 뷰가 서로 일치하도록 합니다.

중요성
현재 대부분의 3D 재구성 파이프라인은 많은 보정된 사진이나 비용이 많이 드는 최적화 루프가 필요합니다. VistaDream은 확산 모델을 영리하게 샘플링함으로써 단 한 장의 사진으로 고품질의 다중 뷰 일관성 렌더링을 얻을 수 있음을 보여주며, AR/VR, 게임 및 시각 효과를 위한 빠른 콘텐츠 제작의 문을 엽니다.

주요 구성 요소

단계	수행되는 작업	사용되는 주요 도구
1️⃣ 전역 스캐폴드	이미지 경계를 아웃페인팅하고 깊이 맵을 추정하여 거친 3D 레이아웃을 구축합니다.	Fooocus(확산 인페인팅), Depth-Pro / Prior-Depth-Anything(깊이), 희소 뷰 스캐폴드용 선택적 VGGT
2️⃣ 반복 RGB-D 인페인팅	확산 기반 인페인팅을 사용하여 스캐폴드를 새로운 뷰의 RGB-D 이미지로 채웁니다.	위와 동일한 확산 모델
3️⃣ 다중 뷰 일관성 샘플링(MCS)	역확산 단계에서 추가 제약 조건이 모든 생성된 뷰를 강제로 일치시켜 일관된 장면을 생성합니다.	순수 알고리즘 – 추가 훈련 없음

시도 방법

1. 환경을 설치합니다(저장소는 종속성 문제를 피하기 위해 Codex와 같은 코딩 어시스턴트를 사용할 것을 권장합니다).
2. bash download_weights.sh를 실행하여 필요한 사전 훈련된 체크포인트(Fooocus, Depth-Pro 등)를 가져옵니다.
3. 단일 뷰 데모는 python demo.py를 실행하고, 희소 이미지가 있는 경우 python demo_sparse.py를 실행합니다.
4. 출력에는 가우시안 필드 파일(scene.pth)과 RGB(및 깊이) 렌더링의 MP4 비디오가 포함됩니다. 필드는 PLY 파일로 내보내고 SuperSplat 웹 뷰어에서 시각화할 수 있습니다.

필요한 것

• Ubuntu 20.04(테스트됨)
• 고성능 GPU(예: RTX 4090). 확산 추론은 GPU 집약적입니다.
• Conda 환경 vdplus(INSTALL.md 참조).

현재 상태

• ICCV 2025에서 채택, 저널 버전은 IEEE TPAMI(2026).
• 코드는 훈련 없이 작동하지만 여러 외부 사전 훈련된 모델에 의존합니다.
• 분기(moge3-lbd)는 더 나은 품질을 위해 업그레이드된 깊이 모듈(MoGe-3, LingBot-Depth)을 추가합니다.

사용 대상

• 확산 기반 3D 합성을 탐구하는 연구자.
• 단일 참조 사진에서 3D 자산을 프로토타입하려는 크리에이터.
• 빠르고 즉석에서 장면 생성을 필요로 하는 AR/VR 파이프라인을 구축하는 개발자.

---

위의 모든 정보는 저장소의 README에서 직접 가져온 것입니다. 추가 기능은 가정되지 않았습니다.