air-embodied-brain/Zetta-Embodiment

Zetta is an efficient closed-loop embodied harness for self-evolving physical intelligence. It evolves code-based runtime critics and recovery skills online while keeping the base policy frozen. Project Page: https://air-embodied-brain.github.io/zetta/

解决的问题

Zetta 旨在通过允许具身智能代理（机器人）自我演化行为，而无需重新训练基础模型，来提升其任务成功率。它通过建立一个能诊断机器人失败原因并自动生成基于代码的恢复技能系统，来解决复杂物理任务中的失败恢复问题。

运作方式

Zetta 使用一个闭环的「演化协议」来提升性能。它不更新基础策略（保持冻结），而是通过以下流程演化「运行时评判器」与「恢复技能」：

  1. 失败聚类：根据视频与遥测数据，将失败尝试分组为聚类。
  2. 因果诊断：诊断阶段识别失败的具体原因。
  3. 候选生成：系统生成一组评判器（用于检测失败）与恢复动作（用于执行基于代码的修复）。
  4. 验证：新技能通过「影子重放」与针对特定种子的门控检查进行测试，以确保其确实解决问题且不造成回归。
  5. 提升：一旦验证通过，该技能即被提升至运行时。

适用对象

此系统专为研究人员与开发者设计，适用于处理视觉-语言-动作（VLA）模型，以及在 LIBERO、RoboCasa、ManiSkill 与 BEHAVIOR 等模拟环境中进行机器人操作。

重点特色

  • 高成功率：在 LIBERO-Pro（90.8%）与 RoboCasa（93.6%）上达到最先进的结果。
  • 推理加速：相较于传统方法，提供 11.1 倍的推理加速。
  • 广泛环境支持：集成多种模拟器，包括 Isaac Sim、OmniGibson 与 SAPIEN。
  • 模块化运行时：使用独立的 Rollout Runtime 来解耦模拟器工作节点与模型推理工作节点。

相关

  • 项目
    OpenBMB/DeepThinkVLA

    DeepThinkVLA 是一个视觉-语言-动作模型，它在生成机器人动作前插入一个显式的链式思维推理步骤。采用混合解码器（自回归推理 → 双向并行动作生成），作者在新构建的具身CoT数据集上训练，再通过成果驱动的强化学习进行优化。该模型在LIBERO基准上实现97 %的平均成功率，推理延迟仅为纯自回归基线的0.175×，并能零样本迁移到更新的LIBERO Plus套件。

  • 项目
    starVLA/starVLA

    StarVLA 是一个模块化的开源代码库，用于开发机器人的视觉-语言-动作模型。它提供即插即用的组件、多种 VLA 框架、训练配方和基准集成，专注于快速原型设计和轻松定制。

  • 项目
    gepa-ai/gepa

    GEPA 是一个框架，旨在针对任何可衡量的指标优化任何文本控制系统（提示词、代码、智能体架构、配置）。它利用大语言模型（LLM）读取执行轨迹、诊断故障，并通过反思、变异和帕累托感知选择迭代进化出更好的候选方案，所需的评估次数远少于强化学习。它提供简单的 gepa.optimize() API、用于任意文本制品的 optimize_anything API、DSPy 集成、针对常见用例的内置适配器，以及与 MLflow、Comet、Pydantic、Google ADK 等的集成。报告结果包括在 Databricks 上比 Claude Opus 4.1 降低 90% 的成本，比强化学习快 35 倍，并已在 50 多个生产场景中使用。

  • 项目
    bingreeky/MemGen

    MemGen 是 LLM 潜在记忆机制的研究实现，具有决定何时回忆记忆的 Trigger 和创建紧凑记忆令牌的 Weaver。该仓库提供基于 conda 的设置、针对 KodCode、GSM8K 和 TriviaQA 上 Qwen2.5-1.5B-Instruct 和 SmolLM3-3B 的训练/评估脚本，并包含 HuggingFace 上的现成检查点。