TencentARC/WorldCrafter

[Arxiv 2026] WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory

🌍 WorldCrafter – 具有隐式 3D 感知记忆的一致视频世界模型

这是什么 – WorldCrafter 是一个研究级模型，可以将单个图像或文本提示转换为可控的视频场景。模型存储场景的隐式 3D 感知记忆，因此您可以在虚拟相机周围移动，并在长相机轨迹中保持生成的视频一致。

主要功能

图像转视频（I2V） – 提供输入图片和相机路径，模型會渲染一個視頻，在平滑揭示新角度的同時，尊重原始視角。
文本转视频（T2V） – 從文字描述和相機軌跡開始，從頭開始合成影片。
可查詢相機的記憶 – 內部表示是視角無關的，當相機移動時，能保持外觀和幾何形狀一致。
兩種模型版本
- WorldCrafter‑Base – 完整大小的模型，提供最高品質。
- WorldCrafter‑Fast – 蒸餾版本，執行更快，品質略有取捨。
自動提示產生 – 可選的 Qwen‑3‑VL‑4B‑Instruct 整合，可從輸入影像自動建立第一人稱或第三人稱場景描述。
開源示範與服務堆疊 – 一個可立即執行的互動式網頁示範（鍵盤控制攝影機）以及自行託管模型所需的程式碼。

📦 快速開始（設定）

複製儲存庫

git clone https://github.com/TencentARC/WorldCrafter.git
cd WorldCrafter

建立 Python 3.11 環境 – README 建議使用以下任一方式：
- uv（輕量級套件管理器）– 安裝固定的 PyTorch 2.10 / CUDA 12.8 堆疊和 ffmpeg。
- conda + pip – 手動安裝 PyTorch 2.10 搭配相符的 CUDA 建置，然後 pip install -e "[demo,xformers]" flash-attn-3==3.0.0。

從 Hugging Face 下載模型權重：

hf download TencentARC/WorldCrafter-Fast --local-dir weights/WorldCrafter-Fast
# 可選 – 也取得 Base 模型
hf download TencentARC/WorldCrafter-Base --local-dir weights/WorldCrafter-Base
# 可選 – Qwen3‑VL‑4B‑Instruct 用於自動提示產生
hf download Qwen/Qwen3-VL-4B-Instruct --local-dir weights/Qwen3-VL-4B-Instruct

如果您打算在兩者之間切換，請保留 Fast 和 Base 資料夾。

🚀 執行推論

入口點是 inference.py。支援兩種模式：

1. 影像轉影片（I2V）

# 使用 Base 模型
python inference.py --model-type base --mode i2v \
  --image-path test/I2V/00_cat_robot_vacuum/image.png \
  --prompt test/I2V/00_cat_robot_vacuum/prompt.txt \
  --camera-path test/I2V/00_cat_robot_vacuum/camera.npy

# 使用 Fast（蒸餾）模型
python inference.py --model-type fast --mode i2v \
  --image-path test/I2V/03_waterfall/image.png \
  --prompt test/I2V/03_waterfall/prompt.txt \
  --camera-path test/I2V/03_waterfall/camera.npy

您可以將 --prompt 替換為 auto-first-person 或 auto-third-person，讓 Qwen‑VL 模型自動撰寫描述。

2. 文字轉影片（T2V）

python inference.py --model-type base --mode t2v \
  --prompt test/T2V/00_red_balloon/prompt.txt \
  --camera-path test/T2V/00_red_balloon/camera.npy

如果您想觸發 Torch‑2 編譯以獲得（一次性）加速，請加上 --enable-compile。

🎮 互動式示範

儲存庫隨附一個瀏覽器型示範。啟動環境後：

python -m demo --model-path weights/WorldCrafter-Fast

開啟 http://localhost:8080。示範預設使用 Fast 模型，啟用 Torch‑2 編譯，並支援多 GPU（--devices 0,1）。鍵盤快捷鍵可讓您即時平移、傾斜和縮放虛擬攝影機。

📚 相關工作與引用

WorldCrafter 建立在神經世界模型研究（Helios、LagerNVS、DreamX‑World 等）的基礎上。如果您在研究中使用程式碼或模型，請引用：

@article{yu2026worldcrafter,
  title={WorldCrafter: Consistent Video World Model with Implicit {3D}-aware Memory},
  author={Yu, Wangbo and Liu, Kunhao and Hu, Wenbo and Yuan, Shenghai and Feng, Chaoran and Zhou, Haiyang and Huang, Yukun and Wang, Yiran and Zhao, Wang and Luo, Yingmin and Shan, Ying},
  journal={arXiv preprint arXiv:2609.24984},
  year={2026}
}

📄 授權

此儲存庫根據 LICENSE.txt 中的授權條款發布。它還包含第三方元件的歸屬，例如 Flash‑Attention 和 XFormers。

結論 – WorldCrafter 為研究人員和開發人員提供了一個可直接執行的管線，用於從單一影像或文字提示生成一致、可控制攝影機的影片，同時提供高品質的基礎模型和更快的蒸餾變體，以及用於快速實驗的開源互動式示範。