roboterax/video-prediction-policy-2

它解决了什么问题

VPP2 通过将视频预测与动作生成相结合，满足了机器人更好地理解和交互其环境的需求。它使机器人能够在采取行动之前“预测”未来的视觉状态，从而提高了需要视觉规划和记忆的复杂任务的性能。

它是如何工作的

该系统使用三阶段流水线：

1. 事件级视频预训练 以学习视觉动态。
2. 视觉规划 通过后训练和蒸馏来优化模型预测结果的方式。
3. 动作学习 使用混合变换器（MoT）架构，将视觉预测转化为具体的机器人运动。

对于需要记忆的任务，模型可以将历史帧纳入其输入，使其能够基于过去的事件做出决策。

适用人群

该项目面向从事机器人学习、视觉规划和自主智能体的研究人员和开发者。对于使用 RoboDojo 和 LIBERO 等基准测试的人来说尤其有用，他们需要一个框架来训练和评估弥合视觉预测与物理动作之间差距的策略。

亮点

• 在 RoboDojo-Sim 排行榜上达到最先进的性能。
• 支持从单张图像和文本指令进行零样本视频预测。
• 包含用于视频生成和策略评估的预训练模型权重。
• 为 RoboDojo 和 LIBERO 基准测试提供模块化的训练和评估工作流。