mira-wm/mira

解决的问题

MIRA 解决了在复杂多人环境中创建实时、可交互世界模型的挑战。它能够基于四名玩家的同步操作，模拟完整的 2v2 Rocket League 比赛，并生成视频帧。

工作原理

该系统使用一个 50 亿参数的潜在扩散模型，按顺序生成视频帧。它利用一个表示自动编码器（编解码器）来处理视觉数据。训练过程包括编解码器、单人世界模型，最后是基于单人版本热启动的 4 人世界模型。训练使用的是「Rocket Science」数据集，其中包含 2v2 比赛的同步多视角视频、键盘操作和游戏状态。

适用人群

从事世界模型、视频生成中的潜在扩散技术，以及复杂交互式模拟 AI 的研究人员和开发者。

主要亮点

• 实时性能：可在单个 GPU 上以 20 FPS 运行完整的 2v2 比赛。
• 多人交互：基于四名玩家的联合操作生成帧。
• 大规模模型：采用 50 亿参数的潜在扩散架构。
• 全面的数据集：包含「Rocket Science」数据集，涵盖同步多视角视频、操作和物理状态。