RoboDojo-Benchmark/RoboDojo

RoboDojo – 汎用ロボット操作ポリシーのための統一されたシミュレーション・実機ベンチマーク

概要 – RoboDojoは、ロボット操作ポリシーがシミュレーション（Isaac Sim）と実機ハードウェアの両方でどの程度機能するかを研究者が測定するための評価専用ベンチマークです。シミュレータークライアント、3つのロボットプラットフォームにわたる42のシミュレーションタスクと18の実機タスクのコレクション、およびそれらのタスクを自動的に実行して公開リーダーボードでスコアを集計するためのツールを提供します。

重要性 – 現在のロボット学習ベンチマークは、単一のシミュレーションシーンや限られた実機タスクセットに焦点を当てることが多く、ポリシーが真に汎用化されているかどうかを判断するのが困難です。RoboDojoは意図的に以下を組み合わせています：

• 5つの能力次元（汎化、記憶、精度、長期間、オープンエンド）で異なるスキルを調査。
• 異種並列シミュレーションにより、Isaac Sim上で多くのタスクを同時に実行し、迅速なフィードバックを提供。
• 物理的に接地されたアセット（剛体、関節、変形可能なオブジェクト）を単一の構成駆動型シーンに統合。
• 実機ロボット評価を3つの実施形態（Piper X, Piper, ARX X5）で、シミュレーションと同じタスク定義を使用して実行。

仕組み

1. インストール リポジトリ (Python 3.11, Isaac Sim 5.1, Isaac Lab 2.3) を行い、提供されたアセットとデータをダウンロードします。
2. ポリシーを選択 します。これはコンパニオンプロジェクト XPolicyLab に存在します（ポリシーは eval.sh と deploy.yml を公開する必要があります）。
3. ヘルパースクリプト scripts/robodojo.sh（または低レベルの scripts/eval_policy.sh）を実行します。これによりシミュレーターが起動し、task/RoboDojo/ からタスク構成が読み込まれ、ポリシーサーバーと通信します。
4. 実行終了後、ワンコマンドの summarize がタスクごとのスコアを標準のリーダーボードテーブルに集計します。
5. クラウド評価パイプラインを通じて結果を送信し、公開リーダーボードに表示させます（シミュレーションおよび実機トラックの両方がサポートされています）。

主要なリポジトリ構成要素

• env/ – 並列タスク実行を処理するコアシミュレーターバックエンドおよびマネージャー。
• env_cfg/ – シミュレーター、シーン、ロボット、カメラ設定を記述するYAMLファイル。
• task/RoboDojo/ – タスクロジックおよびタスクごとの構成ファイル。
• scripts/ – 評価の入り口 (robodojo.sh, eval_policy.sh)。
• XPolicyLab/ – ポリシーを読み込み、サーバーを起動し、RoboDojoと通信する薄いラッパー。
• Assets/ – ダウンロードされたロボットモデル、オブジェクト、マテリアル、レイアウトファイル。

はじめに – ドキュメントサイト（READMEからリンク）には、ステップバイステップのウォークスルーを含む Usage Overview、参照ポリシーを数分で実行するための Quick Evaluation ガイド、および各シミュレーション・実機タスクの詳細ページが用意されています。

コミュニティと再現性 – スコアはシード制御されており、評価スタック全体がオープンソースであるため、誰でも公開された結果を再現できます。ライブリーダーボードには現在の最先端技術が表示され、プロジェクトのウェブページからコミュニティフォーラムにリンクされています。

引用 – 論文でRoboDojoを使用する場合は、arXivプレプリント (Chen et al., 2026) およびコンパニオンのXPolicyLab論文を引用してください。

---

結論 – RoboDojoは、多様なシミュレーションおよび実機タスク全体で汎用ロボット操作ポリシーをテストするための本格的なオープンソースベンチマークであり、並列評価と公開リーダーボードのサポートが組み込まれています。