TencentARC/WorldCrafter

[Arxiv 2026] WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory

🌍 WorldCrafter – 具有隱含 3D 感知記憶的一致影片世界模型

這是什麼 – WorldCrafter 是一個研究級模型，可以將單一影像或文字提示轉換為可控制的影片場景。模型儲存場景的隱含 3D 感知記憶，因此您可以在虛擬攝影機周圍移動，並在長攝影機軌跡中保持生成的影片一致。

主要功能

影像轉影片（I2V） – 提供輸入圖片和攝影機路徑，模型會渲染一個影片，在平滑揭示新角度的同時，尊重原始視角。
文字轉影片（T2V） – 從文字描述和攝影機軌跡開始，從頭開始合成影片。
可查詢攝影機的記憶 – 內部表示是視角無關的，當攝影機移動時，能保持外觀和幾何形狀一致。
兩種模型版本
- WorldCrafter‑Base – 完整大小的模型，提供最高品質。
- WorldCrafter‑Fast – 蒸餾後的版本，執行速度更快，品質略有取捨。
自動提示產生 – 可選的 Qwen‑3‑VL‑4B‑Instruct 整合，可以從輸入影像自動建立第一人稱或第三人稱場景描述。
開源示範與服務堆疊 – 一個可直接執行的互動式網頁示範（鍵盤控制攝影機），以及自行託管模型所需的程式碼。

📦 快速開始（設定）

複製儲存庫

git clone https://github.com/TencentARC/WorldCrafter.git
cd WorldCrafter

建立 Python 3.11 環境 – README 建議使用以下任一方式：
- uv（輕量級套件管理器）– 安裝固定的 PyTorch 2.10 / CUDA 12.8 堆疊和 ffmpeg。
- conda + pip – 手動安裝 PyTorch 2.10 搭配相符的 CUDA 建置，然後 pip install -e "[demo,xformers]" flash-attn-3==3.0.0。

從 Hugging Face 下載模型權重：

hf download TencentARC/WorldCrafter-Fast --local-dir weights/WorldCrafter-Fast
# 可選 – 也取得 Base 模型
hf download TencentARC/WorldCrafter-Base --local-dir weights/WorldCrafter-Base
# 可選 – 用於自動提示產生的 Qwen3‑VL‑4B‑Instruct
hf download Qwen/Qwen3-VL-4B-Instruct --local-dir weights/Qwen3-VL-4B-Instruct

如果您打算在兩者之間切換，請保留 Fast 和 Base 資料夾。

🚀 執行推論

入口點是 inference.py。支援兩種模式：

1. 影像轉影片（I2V）

# 使用 Base 模型
python inference.py --model-type base --mode i2v \
  --image-path test/I2V/00_cat_robot_vacuum/image.png \
  --prompt test/I2V/00_cat_robot_vacuum/prompt.txt \
  --camera-path test/I2V/00_cat_robot_vacuum/camera.npy

# 使用 Fast（蒸餾）模型
python inference.py --model-type fast --mode i2v \
  --image-path test/I2V/03_waterfall/image.png \
  --prompt test/I2V/03_waterfall/prompt.txt \
  --camera-path test/I2V/03_waterfall/camera.npy

您可以將 --prompt 替換為 auto-first-person 或 auto-third-person，讓 Qwen‑VL 模型自動編寫描述。

2. 文字轉影片（T2V）

python inference.py --model-type base --mode t2v \
  --prompt test/T2V/00_red_balloon/prompt.txt \
  --camera-path test/T2V/00_red_balloon/camera.npy

如果您想觸發 Torch‑2 編譯以獲得（一次性）加速，請加上 --enable-compile。

🎮 互動式示範

儲存庫隨附一個瀏覽器型示範。啟動環境後：

python -m demo --model-path weights/WorldCrafter-Fast

開啟 http://localhost:8080。示範預設使用 Fast 模型、啟用 Torch‑2 編譯，並支援多 GPU（--devices 0,1）。鍵盤快捷鍵可讓您即時平移、傾斜和縮放虛擬攝影機。

📚 相關工作與引用

WorldCrafter 建立在神經世界模型研究（Helios、LagerNVS、DreamX‑World 等）的基礎上。如果您在研究中使用程式碼或模型，請引用：

@article{yu2026worldcrafter,
  title={WorldCrafter: Consistent Video World Model with Implicit {3D}-aware Memory},
  author={Yu, Wangbo and Liu, Kunhao and Hu, Wenbo and Yuan, Shenghai and Feng, Chaoran and Zhou, Haiyang and Huang, Yukun and Wang, Yiran and Zhao, Wang and Luo, Yingmin and Shan, Ying},
  journal={arXiv preprint arXiv:2609.24984},
  year={2026}
}

📄 授權

此儲存庫根據 LICENSE.txt 中的授權條款發布。它還包含第三方元件的歸屬，例如 Flash‑Attention 和 XFormers。

結論 – WorldCrafter 為研究人員和開發人員提供了一個可直接執行的管線，用於從單一影像或文字提示生成一致、可控制攝影機的影片，同時提供高品質的基礎模型和更快的蒸餾變體，以及用於快速實驗的開源互動式示範。