simchowitzlabpublic/nano-world-model

A Minimalist, Batteries-included Repository for Advancing World Model Science.

What it solves

Nano World Model 提供一個極簡、開源的框架來訓練影片世界模型。它透過實作精簡的管線，解決未來影片預測的複雜性，能夠在給定先前狀態與動作的情況下，預測影片序列中的後續畫格，並支援模型的訓練、驗證與評估。

How it works

此專案基於 diffusion‑forcing 技術，用於產生未來影片畫格。它使用由 Hydra 管理的統一設定系統，處理訓練與推論的整個流程。模型可以執行自迴歸的長時間滾動推演，逐格預測畫面，並可整合動作注入以影響預測結果。支援多種資料集，包括 DINO‑WM、RT‑1 與 CSGO。

Who it’s for

此工具設計給從事影片預測、機器人世界模型與具身智慧的研究者與開發者，提供乾淨、透明的程式碼庫，以便進行消融實驗與測試新架構。

Highlights

  • Minimalist Design: 受 NanoGPT 啟發，著重易用性，且依賴最少，能快速設置。
  • Diverse Applications: 支援長時間視訊生成、MPC 風格規劃（使用 CEM），以及從滾動影片中重建 3D 點雲。
  • Scientific Transparency: 完全開源提供模型檢查點，並針對模型規模與動作注入進行對照消融研究。
  • Broad Dataset Support: 相容多種環境，包括點迷宮、機械手臂操作（PushT）與遊戲環境（CSGO）。