air-embodied-brain/Zetta-Embodiment

Zetta is an efficient closed-loop embodied harness for self-evolving physical intelligence. It evolves code-based runtime critics and recovery skills online while keeping the base policy frozen. Project Page: https://air-embodied-brain.github.io/zetta/

解决的问题

Zetta 旨在通过允许机器人自我进化恢复失败的能力,来提高具身 AI(机器人)的成功率。与重新训练庞大的基础策略不同,Zetta 在线进化基于代码的「批评者」和恢复技能,以应对特定的失败模式,显著提升了在 LIBERO-Pro 和 RoboCasa 等基准测试中的成功率,同时保持了高推理速度。

工作原理

Zetta 使用闭合回路的「进化协议」来迭代提升机器人性能:

  1. 失败聚类:利用视频和遥测数据对失败轨迹进行分组,识别常见的失败模式。
  2. 因果诊断:诊断阶段解释失败背后的因果机制。
  3. 候选生成:一个「候选生成器」创建一个包含「批评者」(用于检测失败)和「恢复执行者」(用于修复失败)的组合包。
  4. 验证:新恢复技能通过「影子回放」和「同种子门控」进行测试,通过后才被提升为最终验证技能集。
  5. 执行:运行时,基础策略保持冻结,但进化后的批评者可提出恢复动作,由高层决策机构(Role1)决定接受或拒绝。

适用对象

本项目适用于从事具身智能、机器人操作和视觉-语言-动作(VLA)模型的研究人员和开发者,希望在不承担完整模型微调计算成本的前提下实现自我纠正行为。

亮点

  • 高性能:在 LIBERO-Pro(90.8%)和 RoboCasa(93.6%)上达到最先进成功率。
  • 高效性:相比传统方法,推理速度提升 11.1 倍。
  • 广泛环境支持:可集成至 LIBERO、RoboCasa 和 RoboTwin。
  • 模块化架构:将滚动运行时(推理/仿真)与进化逻辑(诊断/恢复生成)分离。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目