air-embodied-brain/Zetta-Embodiment

Zetta is an efficient closed-loop embodied harness for self-evolving physical intelligence. It evolves code-based runtime critics and recovery skills online while keeping the base policy frozen. Project Page: https://air-embodied-brain.github.io/zetta/

解決する課題

Zettaは、身体化AIエージェント（ロボット）が基本モデルを再トレーニングせずに自己進化できるようにすることで、タスク成功率を向上させることを目的としています。複雑な物理タスクにおける失敗回復の問題に対処するため、ロボットが失敗した理由を診断し、コードベースの回復スキルを自動生成するシステムを構築します。

仕組み

Zettaはクローズドループの「進化プロトコル」を使用してパフォーマンスを向上させます。基本ポリシー（凍結されたまま）を更新する代わりに、以下のプロセスを通じて「実行時クリティック」と「回復スキル」を進化させます：

  1. 失敗クラスタリング：ビデオとテレメトリデータに基づいて、失敗した試行をクラスタにグループ化します。
  2. 因果診断：診断段階で失敗の具体的な原因を特定します。
  3. 候補生成：システムが、失敗を検出するクリティックとコードベースの修正を実行する回復アクションのバンドルを生成します。
  4. 検証：新しいスキルは「シャドウリプレイ」と特定のシードに対するゲートチェックを通じてテストされ、実際に問題を解決し、回帰を引き起こさないことを確認します。
  5. プロモーション：検証されると、スキルはアクティブなランタイムに昇格します。

対象者

このシステムは、視覚-言語-行動（VLA）モデルと、LIBERO、RoboCasa、ManiSkill、BEHAVIORなどのシミュレーション環境でのロボット操作に取り組む研究者と開発者向けに構築されています。

ハイライト

  • 高い成功率：LIBERO-Pro（90.8%）とRoboCasa（93.6%）で最先端の結果を達成。
  • 推論高速化：従来の方法と比較して11.1倍の推論高速化を提供。
  • 広範な環境サポート：Isaac Sim、OmniGibson、SAPIENを含む複数のシミュレータと統合。
  • モジュール式ランタイム：別のRollout Runtimeを使用して、シミュレータワーカーとモデル推論ワーカーを分離。

関連

  • プロジェクト
    OpenBMB/DeepThinkVLA

    DeepThinkVLAは、ロボットの行動を生成する前に明示的な連鎖的思考（CoT）の推論ステップを挿入する視覚言語行動モデルです。自己回帰的推論 → 並列行動生成というハイブリッドデコーダーを採用し、新たに作成されたエムベデッドCoTデータセットで訓練した後、成果志向の強化学習で最適化します。このモデルはLIBEROベンチマークで平均97 %の成功確率を達成し、純粋な自己回帰ベースラインの0.175×の遅延で動作し、新しいLIBERO Plusスイートへのゼロショット転移も可能になっています。

  • プロジェクト
    starVLA/starVLA

    StarVLA は、ロボット向けの Vision-Language-Action モデルを開発するためのモジュール式のオープンソースコードベースです。プラグアンドプレイのコンポーネント、複数の VLA フレームワーク、トレーニングレシピ、ベンチマーク統合を提供し、迅速なプロトタイピングと簡単なカスタマイズに重点を置いています。

  • プロジェクト
    gepa-ai/gepa

    GEPAは、あらゆる測定可能な指標に対して、テキストで制御されるシステム（プロンプト、コード、エージェントアーキテクチャ、設定など）を最適化するフレームワークです。LLMを使用して実行トレースを読み取り、失敗を診断し、リフレクション、突然変異、パレート最適選択を通じて、より優れた候補を反復的に進化させます。強化学習（RL）よりもはるかに少ない評価回数で済みます。シンプルな gepa.optimize() API、任意のテキストアーティファクト用の optimize_anything API、DSPy統合、一般的なユースケース向けの組み込みアダプターを提供し、MLflow、Comet、Pydantic、Google ADKなどと統合可能です。DatabricksでのClaude Opus 4.1と比較して90倍のコスト削減、RLより35倍高速、50以上の本番環境での採用実績が報告されています。

  • プロジェクト
    bingreeky/MemGen

    MemGen は、LLM の潜在記憶メカニズムの研究実装であり、記憶を呼び出すタイミングを決定する Trigger と、コンパクトな記憶トークンを作成する Weaver を備えています。このリポジトリは、conda ベースのセットアップ、KodCode、GSM8K、TriviaQA 上の Qwen2.5-1.5B-Instruct および SmolLM3-3B のトレーニング/評価スクリプトを提供し、HuggingFace にすぐに使えるチェックポイントを含んでいます。