AlayaLab/WorldSculpt

Official Implementation for WorldSculpt: Generating Compositional Worlds from Grounded Videos

🌍 WorldSculpt 는 무엇인가요?

WorldSculpt은 일반적인 RGB 동영상(인스턴스 마스크 및 대략적인 3D 박스 포함)을 수백 개의 객체가 포함된 장면 전체의 단일 구성 메시로 변환하는 연구용 시스템입니다. 이는 단일 객체용 생성 전제 모델(Pixal3D 모델)을 재사용하고, 가려진 다중 뷰 입력을 처리할 수 있도록 미세 조정함으로써 가능합니다. 결과적으로 객체 수준의 기하학을 유지하는 고밀도이고 편집 가능한 3D 메시를 얻을 수 있습니다.

🚀 주요 기능

기능	의미
복잡한 장면용 단일 객체 전제 모델	개별 객체에 대해 훈련된 모델을 활용하여 수많은 물체가 있는 방이나 실외 환경을 재구성 가능.
미세 조정된 Pixal3D	Pixal3D 생성 모델을 가려진 다중 뷰 영상 프레임을 수용할 수 있도록 조정.
UE‑MeshyScene 벤치마크	구성 메시화를 평가하기 위한 새로운 데이터셋(UE‑MeshyScene)으로, 프레임별 및 인스턴스별 애노테이션 제공.
Marble 데모	3‑DGS "Marble" 세계를 객체 수준의 메시로 변환할 수 있음을 보여줌.
ComfyUI 통합	커뮤니티가 개발한 노드 기반 UI로, ComfyUI 내에서 드래그 앤 드롭으로 쉽게 사용 가능.
오픈소스 체크포인트 및 데이터	모델 가중치와 벤치마크 데이터는 Hugging Face에 호스팅되어 즉시 다운로드 가능.

📦 시작하기 (개요)

기본 환경 – 먼저 Microsoft의 TRELLIS.2 스택을 설치하세요 (리포지토리에 설치 가이드 링크 있음).
추가 종속성 – natten (CUDA 대응), utils3d, 그리고 Python 패키지들(예: torch, transformers, diffusers 등) 설치.
모델 다운로드 – Hugging Face에서 WorldSculpt 체크포인트와 Pixal3D 전제 모델을 다운로드.
데이터 다운로드 – 동일한 허브에서 UE‑MeshyScene 또는 Marble 데모 데이터셋을 다운로드.
추론 실행 – 제공된 inference.sh 스크립트를 사용하여 입력 장면 폴더, 출력 폴더, 체크포인트 위치, 그리고 몇 가지 하이퍼파라미터(SS_STEP, SHAPE_STEP, FACE_BUDGET 등)를 지정.

🛠️ 예제 명령어

INPUT_ROOT=./input/UE-MeshyScene \
OUTPUT_ROOT=./output \
CKPT_ROOT=./pretrained \
SAMPLER=official SS_STEP=15000 SHAPE_STEP=15000 \
RENDER=1 FACE_BUDGET=1000000 GPU=0 \
./inference.sh scene_00001

스크립트는 장면 폴더 내의 transforms.json을 읽고 모델을 실행한 후, 메시(및 선택적 렌더링)를 ./output에 기록합니다.

🎨 ComfyUI와 함께 사용하기

커뮤니티 멤버인 Terry Jia가 ComfyUI‑WorldSculpt 플러그인을 개발했습니다. 이 플러그인은 동일한 추론 파이프라인을 ComfyUI 노드로 감싸, 쉘 명령어를 작성하지 않고도 시각적 워크플로우를 구축할 수 있게 해줍니다. 설치 방법과 예제 노드 그래프는 링크된 GitHub 리포지토리에서 확인하세요.

📚 자료

프로젝트 페이지 – https://alaya-lab.github.io/WorldSculpt (데모 영상, 논문 링크, 시각적 결과)
ArXiv 논문 – https://arxiv.org/abs/2609.05416 (기술적 세부 사항 전체)
모델 허브 – https://huggingface.co/AlayaLab/WorldSculpt (체크포인트)
데이터셋 허브 – https://huggingface.co/datasets/AlayaLab/Worldsculpt_data (UE‑MeshyScene, Marble)
ComfyUI 통합 – https://github.com/jtydhr88/ComfyUI-WorldSculpt

📖 인용

WorldSculpt을 연구에 사용할 경우, README에 제공된 arXiv 프리프린트를 인용해 주세요.