Robbyant/lingbot-world-v2

🤖 什麼是 LingBot‑World‑V2？

LingBot‑World‑V2（亦稱 LingBot‑World‑Infinity）是一項研究級生成模型，能從文字提示創建互動式、影片級的世界。它基於原始的 LingBot‑World 專案，並加入四項主要升級：

無限的互動範圍 – 由於採用因果預訓練方案，模型可持續生成高品質的影片畫格，適用於任意長度的場景。
即時速度 – 精簡的「快速」變體可在多GPU系統上以60 fps即時驅動720p影片。
更豐富的互動集合 – 新增攻擊、射箭、施法、射擊等行為，以及大量文字驅動事件，使世界具備更廣泛的互動語彙。
代理框架 – 一個 飛行員 代理規劃角色行為，而一個導演代理持續生成新穎的環境元素，實現真正動態的世界演化。

該程式庫提供推論程式碼（無訓練程式碼）與已發布模型檢查點的下載連結。

📦 快速入門（非專家使用者）

克隆與安裝

git clone https://github.com/robbyant/lingbot-world-v2.git
cd lingbot-world-v2
# 需要 PyTorch ≥2.4
pip install -r requirements.txt
# Flash‑Attention 可加速 Transformer 核心
pip install flash-attn --no-build-isolation

下載模型 – 從四個已發布的檢查點中選擇一個。以14 B快速模型（Hugging Face）為例：
```
pip install "huggingface_hub[cli]"
huggingface-cli download robbyant/lingbot-world-v2-14b-causal-fast \
    --local-dir ./lingbot-world-v2-14b-causal-fast
```
（1.3 B 模型與14 B版本共享 T5/VAE 分詞器與 VAE 權重；透過 --assets_dir 傳入14 B資料夾。）

執行推論 – 提供的 generate.py 以分塊方式串流輸出影片畫格，有效控制記憶體使用。

# 範例：14 B 快速模型，480p 影片，8個 GPU
torchrun --nproc_per_node=8 generate.py \
    --task i2v-A14B \
    --size 480*832 \
    --ckpt_dir lingbot-world-v2-14b-causal-fast \
    --image examples/03/image.jpg \
    --action_path examples/03 \
    --dit_fsdp --t5_fsdp \
    --ulysses_size 8 \
    --frame_num 361 \
    --local_attn_size 18 --sink_size 6 \
    --prompt "A serene lakeside scene …"

對於較小的1.3 B快速模型，將 --nproc_per_node=4 並加入 --assets_dir lingbot-world-v2-14b-causal-fast。

也可使用輔助腳本 run_fast.sh 代替完整命令：

bash run_fast.sh lingbot-world-v2-14b-causal-fast 361

觀看輸出 – 腳本會產生影片檔案（如 output.mp4），可用任意媒體播放器播放。

📂 程式庫內容

資料夾/檔案	用途
`generate.py`	主要推論腳本（因果KV快取，分塊影片生成）
`run_fast.sh`	便利包裝器，從檢查點名稱自動推斷GPU數量與模型大小
`requirements.txt`	Python相依性（torch, transformers, flash‑attention 等）
`examples/`	演示提示中使用的範例影像與動作路徑檔案
`README.md`（本檔案）	文件、模型下載表、快速入門指南

程式碼基於 Wan2.2（影片擴散框架）建構。Wan2.2的完整安裝說明請參見其獨立程式庫。

📦 可用模型檢查點

模型	大小	類型	取得方式
`lingbot-world-v2-14b-causal-fast`	14 B	即時精簡（快速）	🤗 [HuggingFace] & 🤖 [ModelScope]
`lingbot-world-v2-14b-causal-pretrain`	14 B	因果預訓練（高品質，較慢）	🤗 [HuggingFace]
`lingbot-world-v2-14b-bid`	14 B	雙向（研究用）	🤗 [HuggingFace]
`lingbot-world-v2-1.3b-causal-fast`	1.3 B	輕量快速變體	🤗 [HuggingFace]

所有模型均以 CC BY‑NC‑SA 4.0（僅限非商業用途）發布。1.3 B 套件目前僅包含擴散（DiT）權重；分詞器、T5 編碼器與 VAE 與14 B版本共享。

🌐 在線體驗

國際網頁示範 – 在 Reactor 上托管： https://www.reactor.inc/lingbot-world-v2
國內行動端示範 – 在 LingGuang 上托管： https://www.lingguang.com/support

兩個平台均即時運行完整功能模型。官方示範將於 WAIC 2026 會議中展示，詳見 README 中的連結。

📚 相關工作與引用

原始 LingBot‑World 專案： https://github.com/robbyant/lingbot-world
技術報告（arXiv）： https://arxiv.org/abs/2607.07534

若在研究中使用該模型，請引用：

@article{lingbot-world-v2,
  title={Infinite Worlds with Versatile Interactions},
  author={Zelin Gao and Qiuyu Wang and Jiapeng Zhu and Jingye Chen and Zichen Liu and Qingyan Bai and Jiahao Wang and Yufeng Yuan and Hanlin Wang and Yichong Lu and Ka Leong Cheng and Haojie Zhang and Jian Gao and Tianrui Feng and Yuzheng Liu and Yao Yao and Yinghao Xu and Xing Zhu and Yujun Shen and Hao Ouyang},
  journal={arXiv preprint arXiv:2607.07534},
  year={2026}
}

📄 授權

程式碼與模型權重以 Creative Commons Attribution‑NonCommercial‑ShareAlike 4.0 International 授權發布。您可於非商業用途下分享與修改素材，但須適切署名，且衍生作品須以相同授權方式發布。

TL;DR

是什麼：一個可無限持續演化的虛擬世界生成模型，提供快速（即時）與高品質兩種版本。
為何重要：支援互動式AI驅動的模擬、遊戲或虛擬環境研究，世界可對長期文字指令做出反應。
如何開始：安裝相依性，下載檢查點，使用提示與來源影像執行 generate.py（或 run_fast.sh）。
在哪裡體驗：Reactor（網頁）與 LingGuang（行動端）提供即時示範。