simchowitzlabpublic/nano-world-model

解決的問題

Nano World Model 提供一個極簡的開源框架，用於訓練視頻世界模型。它解決了基於擴散強制進行未來視頻幀預測所需的透明且可存取的程式碼庫需求，使機器人學與遊戲領域的環境模擬成為可能。

工作原理

本專案採用擴散強制方法實現視頻世界模型。透過基於 Hydra 的設定系統，實現訓練、驗證與評估的統一流程管理。模型可執行自回歸的長時程滾動預測，根據先前幀與動作注入預測後續幀。這些滾動預測可用於下游任務，如 3D 點雲重構或模型預測控制（MPC）規劃。

適用對象

本工具專為機器人學、電腦視覺與人工智慧領域的研究人員與開發者設計，旨在協助他們無需面對龐大且不透明的程式碼庫，即可輕鬆實現、評估或擴展視頻世界模型。

主要亮點

• 極簡設計：受 NanoGPT 啟發，專注於乾淨的程式碼庫以實現科學透明性。
• 統一流程：整合的訓練與評估工作流程，支援便捷的設定覆蓋。
• 多樣資料集支援：已整合 DINO-WM、RT-1 與 CSGO 資料集，開箱即用。
• 實用應用：內建長時程生成、視頻到 3D 映射以及基於 CEM 的規劃功能。