thu-ml/Motus

Motus – 统一的潜在动作世界模型

它是什么 – Motus 是一个开源研究代码库，为具身机器人构建了潜在动作世界模型。它使用 Mixture-of-Transformers (MoT) 架构，将三个专家模块 – 视频生成模型 (VGM)、视觉语言模型 (VLM) 和两个较小的“理解”和“动作”专家 – 结合在一起。系统可运行于多种模式：经典世界模型预测、视觉语言动作推理、逆向动力学、视频生成，或联合视频动作预测。

关键组件

组件	基础模型（预训练）	大小
VGM（视频生成）	Wan2.2-5B	~5 B 参数
VLM（视觉语言）	Qwen3-VL-2B	~2.1 B 参数
动作专家	–	~0.64 B
理解专家	–	~0.25 B
总计	–	~8 B

VGM 和 VLM 取自现有的 Hugging Face 检查点；两个较小的专家是从头训练的。Motus 从光流的“delta-pixels”学习潜在动作，使其能直接从视频帧预测精细的机器人动作。

训练流程 – Motus 遵循三阶段流程：

1. 基础预训练：在大型网络规模视频和图像文本数据上预训练 VGM 和 VLM。
2. 阶段 1 – 仅在自我中心人类视频、合成数据和多机器人轨迹上训练 VGM。
3. 阶段 2 – 在相同数据加上任务无关数据上训练完整的 MoT（所有三个专家），学习潜在动作表示。
4. 阶段 3 – 在目标机器人任务轨迹（例如 RoboTwin 2.0）上微调整个系统。此流程以六层“数据金字塔”说明。

支持的数据 – 此仓库可处理三种数据集格式：

• RoboTwin 2.0 – 具有干净和随机分割的模拟套件。
• 真实世界 – AC-One 和 Aloha-Agilex-2 机器人日志。
• 多相机 – 用于拼接三视图图像的工具。

转换脚本（data/robotwin2/robotwin_data_convert/ 和 data/utils/multi_camera_concat.py）有助于将原始日志重塑为所需的目录结构（请参阅 DATA_FORMAT.md）。

运行模型

• 推理 – 轻量级推理脚本可在 RoboTwin 2.0 上评估，或在真实世界数据上运行最小演示。README 指向 INFERENCE.md 以获取命令行标志和配置文件（configs/robotwin.yaml、configs/ac_one.yaml）。
• 硬件 – 使用预编码的 T5 编码器进行推理需要 >24 GB VRAM（RTX 5090）。未预编码的完整推理或训练需要 40-80 GB GPU（A100/H100/B200）。

检查点 – 预训练检查点托管于 Hugging Face：

• Motus_Wan2_2_5B_pretrain – 仅 VGM 骨干。
• Motus – 潜在动作预训练后的完整模型（阶段 2）。
• Motus_robotwin2 – 在 RoboTwin 2.0 任务上微调（阶段 3）。

README 包含使用 huggingface-cli 下载它们的简短脚本，并显示如何将配置文件指向本地路径。

性能 – 在 RoboTwin 2.0 基准测试（每个任务 50 个干净 + 500 个随机化情节，合并 50 个任务）上，Motus 达到 87.02% 平均成功率，作者声称比 X-VLA 高 +15%，比 π₀.₅ 高 +45%。

如何开始

1. 克隆仓库并创建 conda 环境（Python 3.10）。
2. 安装 PyTorch 2.7.1（CUDA 12.8）和 flash-attn 以实现快速注意力。
3. 从 Hugging Face 拉取所需的检查点。
4. 遵循 INFERENCE.md 在 RoboTwin 上快速测试，或遵循 TRAINING.md 进行完整的三阶段训练。

谁可能使用它 – 探索机器人感知动作循环统一模型的研究人员、需要能同时生成视频预测和输出机器人关节命令的基线的开发人员，以及任何有兴趣在大型视觉语言基础上实验潜在动作表示的人。

引用 – 作者为 arXiv 预印本（arXiv:2512.13030）提供了可直接复制的 BibTeX 条目。