shengshu-ai/Motus2

解决的问题

Motus2 解决了具身智能体中世界模拟器与动作输出头之间缺乏整合的问题。Motus2 并非简单地将动作头附加于模拟器，而是建立一个封闭的决策与学习循环，使智能体能够在灵巧操作任务中感知、预测、行动、评估并改善自身表现。

运作方式

Motus2 使用具有共享权重的单一模型，提供三种不同的控制接口：

1. 策略（世界-动作模型）： 提出候选动作块。
2. 模拟器（动作条件世界模型）： 预测这些动作的视觉结果。
3. 评估器（价值模型）： 评估预测结果以判断是否成功。

为了改进，模型将数据从大规模单眼 egocentric 数据扩展至同步立体 egocentric 数据，然后使用机器人轨迹与人机对齐数据适应机器人领域。它亦纳入触觉反馈以进行接触感知控制，并使用具有立体视觉与双灵巧手的仿生平台。

适用对象

适用于研究通用具身 AI、机器人灵巧操作与机器人世界模型的研究人员与开发者。

亮点

• 自我进化循环： 将策略、模拟与评估整合于单一共享权重模型中，以实现持续改进。
• 数据扩展路径： 从人类 egocentric 视频数据进展至机器人特定轨迹。
• 多模态感知： 结合立体视觉与触觉反馈以实现精确控制。
• 仿生硬件： 专为具有双臂与双灵巧手的平台设计。