Robbyant/lingbot-world

解決的問題

LingBot-World 是一個開源的世界模擬器，旨在生成高保真、互動式的影片環境。它解決了在多種風格（寫實、科學、卡通）中保持時間一致性與強健動力學的挑戰，同時允許即時使用者互動與長期記憶（分鐘級視野）。

工作原理

該專案基於 Wan2.2 框架構建，提供多個模型版本：

• Base (Cam): 由相機姿態（內參與轉換矩陣）控制。
• Base (Act): 由特定動作控制，包括一個使用者友好的動作字串介面。
• Fast: 使用 KV 快取與分塊處理進行因果推理的加速版本，將 16 FPS 輸出的延遲降低到 1 秒以下。

適用對象

此工具面向內容創作、遊戲與機器人學習領域的開發人員與研究人員，他們需要一個可控的、互動式的世界模型來進行環境模擬。

亮點

• 即時互動性：實現亞秒級的互動式渲染延遲。
• 長期記憶：能夠生成長達一分鐘的連貫影片。
• 多樣化環境：支持從寫實到卡通的廣泛視覺風格。
• 可控生成：支持透過相機姿態與動作字串進行控制。
• 量化版本：為 GPU 資源有限的使用者提供 4-bit 量化模型。