TencentARC/WorldCrafter

[Arxiv 2026] WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory

🌍 WorldCrafter – 암시적 3D 인식 메모리를 갖춘 일관된 비디오 월드 모델

개요 – WorldCrafter는 단일 이미지 또는 텍스트 프롬프트를 제어 가능한 비디오 장면으로 변환할 수 있는 연구용 모델입니다. 이 모델은 장면의 암시적 3D 인식 메모리를 저장하므로, 가상 카메라를 이동하면서 긴 카메라 궤적에 걸쳐 생성된 비디오의 일관성을 유지할 수 있습니다.

주요 기능

  • 이미지-투-비디오 (I2V) – 입력 사진과 카메라 경로를 제공하면, 모델이 원래의 시점을 존중하면서 새로운 각도를 부드럽게 드러내는 비디오를 렌더링합니다.
  • 텍스트-투-비디오 (T2V) – 텍스트 설명과 카메라 궤적을 시작점으로 사용하여 처음부터 비디오를 합성합니다.
  • 카메라 쿼리 가능 메모리 – 내부 표현이 시점에 구애받지 않아 카메라가 이동할 때 일관된 외형과 기하학적 구조를 유지합니다.
  • 두 가지 모델 버전
    • WorldCrafter-Base – 최고 품질을 위한 풀 사이즈 모델입니다.
    • WorldCrafter-Fast – 약간의 품질 저하를 감수하고 더 빠르게 실행되는 증류(distilled) 버전입니다.
  • 자동 프롬프트 생성 – Qwen-3-VL-4B-Instruct와의 선택적 통합을 통해 입력 이미지로부터 1인칭 또는 3인칭 장면 설명을 자동으로 생성할 수 있습니다.
  • 오픈 소스 데모 및 서빙 스택 – 즉시 실행 가능한 대화형 웹 데모(키보드 제어 카메라)와 모델을 직접 호스팅하는 데 필요한 코드를 제공합니다.

📦 빠른 시작 (설정)

  1. 저장소 복제
    git clone https://github.com/TencentARC/WorldCrafter.git
cd WorldCrafter
  2. Python 3.11 환경 생성 – README에서는 다음 중 하나를 권장합니다:
    • uv (경량 패키지 관리자) – 고정된 PyTorch 2.10 / CUDA 12.8 스택과 ffmpeg를 설치합니다.
    • conda + pip – 일치하는 CUDA 빌드로 PyTorch 2.10을 수동 설치한 후, pip install -e "[demo,xformers]" flash-attn-3==3.0.0을 실행합니다.
  3. Hugging Face에서 모델 가중치 다운로드:
    hf download TencentARC/WorldCrafter-Fast --local-dir weights/WorldCrafter-Fast
# 선택 사항 – Base 모델도 다운로드
hf download TencentARC/WorldCrafter-Base --local-dir weights/WorldCrafter-Base
# 선택 사항 – 자동 프롬프트 생성을 위한 Qwen3-VL-4B-Instruct
hf download Qwen/Qwen3-VL-4B-Instruct --local-dir weights/Qwen3-VL-4B-Instruct
    두 모델 간에 전환할 계획이라면 Fast 및 Base 폴더를 모두 유지하세요.

🚀 추론 실행

진입점은 inference.py입니다. 두 가지 모드가 지원됩니다:

1. 이미지-투-비디오 (I2V)

# Base 모델 사용
python inference.py --model-type base --mode i2v \
  --image-path test/I2V/00_cat_robot_vacuum/image.png \
  --prompt test/I2V/00_cat_robot_vacuum/prompt.txt \
  --camera-path test/I2V/00_cat_robot_vacuum/camera.npy

# Fast (증류) 모델 사용
python inference.py --model-type fast --mode i2v \
  --image-path test/I2V/03_waterfall/image.png \
  --prompt test/I2V/03_waterfall/prompt.txt \
  --camera-path test/I2V/03_waterfall/camera.npy

--prompt를 auto-first-person 또는 auto-third-person으로 대체하여 Qwen-VL 모델이 자동으로 설명을 작성하도록 할 수 있습니다.

2. 텍스트-투-비디오 (T2V)

python inference.py --model-type base --mode t2v \
  --prompt test/T2V/00_red_balloon/prompt.txt \
  --camera-path test/T2V/00_red_balloon/camera.npy

(1회성) 속도 향상을 위해 Torch-2 컴파일을 트리거하려면 --enable-compile을 추가하세요.

🎮 대화형 데모

브라우저 기반 데모가 저장소와 함께 제공됩니다. 환경을 활성화한 후:

python -m demo --model-path weights/WorldCrafter-Fast

http://localhost:8080을 엽니다. 데모는 기본적으로 Fast 모델을 사용하고, Torch-2 컴파일을 활성화하며, 멀티 GPU(--devices 0,1)를 지원합니다. 키보드 단축키를 사용하여 실시간으로 가상 카메라를 팬, 틸트 및 줌할 수 있습니다.

📚 관련 연구 및 인용

WorldCrafter는 일련의 신경망 월드 모델 연구(Helios, LagerNVS, DreamX-World 등)를 기반으로 합니다. 연구에 코드나 모델을 사용하는 경우 다음을 인용하세요:

@article{yu2026worldcrafter,
  title={WorldCrafter: Consistent Video World Model with Implicit {3D}-aware Memory},
  author={Yu, Wangbo and Liu, Kunhao and Hu, Wenbo and Yuan, Shenghai and Feng, Chaoran and Zhou, Haiyang and Huang, Yukun and Wang, Yiran and Zhao, Wang and Luo, Yingmin and Shan, Ying},
  journal={arXiv preprint arXiv:2609.24984},
  year={2026}
}

📄 라이선스

이 저장소는 LICENSE.txt에 명시된 라이선스에 따라 배포됩니다. 또한 Flash-Attention 및 XFormers와 같은 구성 요소에 대한 타사 저작자 표시가 포함되어 있습니다.

결론 – WorldCrafter는 연구자와 개발자에게 단일 이미지나 텍스트 프롬프트로부터 일관되고 카메라 제어가 가능한 비디오를 생성할 수 있는 즉시 실행 가능한 파이프라인을 제공합니다. 고품질 Base 모델과 더 빠른 증류 버전, 그리고 빠른 실험을 위한 오픈 소스 대화형 데모를 포함하고 있습니다.

관련

  • 프로젝트
    Robbyant/lingbot-world-v2

    LingBot‑World‑V2는 텍스트 프롬프트에서 무한하고 상호작용 가능한 세계를 생성하는 연구용 비디오 생성 모델입니다. 빠른(실시간) 및 고품질 버전(14 B 및 1.3 B)을 제공하며, 다양한 행동을 지원하고, 파ilot-디렉터 에이전트 아키텍처를 사용합니다. 리포지토리는 추론 코드, 모델 다운로드 링크, 빠른 시작 가이드를 제공하지만, 배포 코드는 공개되지 않았습니다.

  • 프로젝트
    haoyi-duan/WorldScore

    WorldScore는 3D, 4D, 영상의 세계 생성 모델을 평가하기 위한 오픈소스 벤치마크입니다. 데이터셋, 생성 어댑터, 공간-시간 메트릭 스위트, 공개 리더보드를 제공합니다. 사용자는 작은 YAML 설정과 Python 클래스로 모델을 등록하고, 영상을 생성한 후 평가 스크립트를 실행하여 생성된 JSON 점수를 제출합니다.

  • 프로젝트
    AlayaLab/WorldSculpt

    WorldSculpt은 다중 뷰 RGB 동영상(인스턴스 마스크 및 3D 박스 포함)을 수백 개의 객체가 포함된 장면의 단일 구성 메시로 변환하는 연구용 코드베이스입니다. Pixal3D 단일 객체 사전 모델의 미세 조정, 새로운 UE‑MeshyScene 벤치마크 제공, Hugging Face에서의 체크포인트 및 데이터 공개, 커뮤니티 기반 ComfyUI 통합을 포함합니다.

  • 프로젝트
    microsoft/TimeCraft

    TimeCraft는 Microsoft Research에서 개발한 확산 기반 합성 시계열 데이터 생성 프레임워크입니다. 프로토타입 사전을 통한 크로스도메인 소수 샘플 적응, 자연어 제어, 타겟 인식 생성을 지원하며, 인과 제약, 기초 모델 사전 학습용 온라인 증강, 불규칙 관측에서의 연속 시간 생성 등의 확장 기능을 제공합니다.

  • 프로젝트
    hao-ai-lab/FastVideo

    FastVideo는 비디오 확산 모델의 훈련, 미세 조정, 실시간 추론을 위한 오픈소스 프레임워크입니다. 스파스 어텐션 기반 교체, 확장 가능한 멀티 GPU 훈련, 그리고 다양한 플랫폼 지원(NVIDIA GPU, Apple Silicon(MXL을 통한), ARM DGX Spark)을 제공합니다. CLI, Python API, 실시간 비디오 편집 앱인 Dreamverse를 포함하고 있습니다. `uv`를 통해 설치하고 몇 줄의 파이썬 코드로 비디오 생성을 시작할 수 있습니다.