EMERGE-Policy/EMERGE-Policy

解決する課題

従来の具身知能は、ロボット制御に単一のエンドツーエンドモデルを使用してきました。しかし、長期間のタスクには、継続的な低レベルの知覚、高レベルの計画、およびきめ細かな行動生成が必要です。単一のモデルではこれらの競合する要求のバランスを取るのが難しく、推論の混乱、誤差の蓄積、タスクの失敗につながります。EMERGE-Policyは、単一ポリシーのアプローチを複数の専門モデルが連携するシステムに置き換え、単一のネットワーク内に知能を閉じ込めるのではなく、それらの調整から知能が創発するようにします。

仕組み

EMERGE-Policyは、グラフ構造のエージェントランタイムです。メインエージェントが計画を調整し、複数のサブエージェントが知覚、検証、行動を処理します。システムは外部モデルをツールとして呼び出します。OpenPIやCosmos Policyが行動を生成し、VGGTが画像から幾何学を推定し、SAM3が画像セグメンテーションを実行します。これらのモデルは個別の環境で永続的なサービスとして実行され、エージェントがそれらを非同期に調整します。Webインターフェース（推奨）、ターミナルUI、またはヘッドレススクリプトを通じて対話できます。共有ドライバーがLIBEROやLIBERO-Plusなどのロボット環境を管理し、スラッシュコマンドによるシーンのリセットや切り替えをサポートします。このシステムは、オリジナルのOpenPI VLAバージョンと、より新しいCosmos Policy WAMバージョンの2つのバックエンドをサポートしています。

対象ユーザー

具身AI、ロボット学習、または長期間の操作タスクに取り組む研究者や開発者。このプロジェクトは、標準的なLIBEROベンチマークの評価スイートと堅牢性テストを提供しており、マルチポリシーの連携をシングルポリシーのベースラインと比較したい方に適しています。Conda環境、モデルチェックポイント、および複数のGPUサービスの実行に慣れている必要があります。

ハイライト

• 単一のエンドツーエンドポリシーを、連携する専門モデル（計画、知覚、検証、行動）のグラフに置き換えます
• 2つのモデルバックエンドをサポート：OpenPI VLAとCosmos Policy WAM（どちらも分離されたモデルサーバーとバッチ推論を備えています）
• 3つの対話モードを提供：ライブカメラビューを備えたWebコンソール、スラッシュコマンドを備えたターミナルUI、スクリプト用のヘッドレス実行
• LIBERO、LIBERO-Plus、LIBERO-Proベンチマークの評価サポートを含む