simchowitzlabpublic/nano-world-model

解决的问题

Nano World Model 提供了一个极简的开源框架，用于训练视频世界模型。它解决了基于扩散强制进行未来视频帧预测所需的透明且可访问的代码库需求，使机器人学和游戏领域的环境模拟成为可能。

工作原理

该项目采用扩散强制方法实现视频世界模型。通过基于 Hydra 的配置系统，实现训练、验证和评估的统一流程管理。模型可执行自回归的长时程滚动预测，基于先前帧和动作注入预测后续帧。这些滚动预测可用于下游任务，如 3D 点云重建或模型预测控制（MPC）规划。

适用人群

本工具专为机器人学、计算机视觉和人工智能领域的研究人员和开发者设计，旨在帮助他们无需面对庞大且不透明的代码库，即可轻松实现、评估或扩展视频世界模型。

主要亮点

• 极简设计：受 NanoGPT 启发，专注于干净的代码库以实现科学透明性。
• 统一流程：集成的训练与评估工作流，支持便捷的配置覆盖。
• 多样数据集支持：已集成 DINO-WM、RT-1 和 CSGO 数据集，开箱即用。
• 实用应用：内置长时程生成、视频到 3D 映射以及基于 CEM 的规划功能。