simchowitzlabpublic/nano-world-model

What it solves

Nano World Model 提供一个极简、开源的框架来训练视频世界模型。它通过实现精简的流水线，解决未来视频预测的复杂性，能够在给定先前状态与动作的情况下，预测视频序列中的后续帧，并支持模型的训练、验证与评估。

How it works

此项目基于 diffusion‑forcing 技术，用于生成未来视频帧。它使用由 Hydra 管理的统一配置系统，处理训练和推理的整个流程。模型可以执行自回归的长滚动推演，逐帧预测画面，并可整合动作注入以影响预测结果。支持多种数据集，包括 DINO‑WM、RT‑1 与 CSGO。

Who it’s for

此工具面向从事视频预测、机器人世界模型和具身智能的研究者与开发者，提供干净、透明的代码库，以便进行消融实验和测试新架构。

Highlights

• Minimalist Design: 受 NanoGPT 启发，注重易用性，且依赖最少，能够快速搭建。
• Diverse Applications: 支持长时视频生成、MPC 风格规划（使用 CEM），以及从滚动视频中重建 3D 点云。
• Scientific Transparency: 完全开源提供模型检查点，并针对模型规模与动作注入进行对照消融研究。
• Broad Dataset Support: 兼容多种环境，包括点迷宫、机器人操作（PushT）和游戏环境（CSGO）。