liberomax/LIBERO-MAX

解決する問題

LIBERO-MAX は、タスクが進行中に発生する予期しない環境変化にロボット制御ポリシーがうまく適応できるかを評価するという課題に取り組みます。多くの既存のベンチマークは静的な環境でロボットをテストしますが、このプロジェクトは、実行中に世界が変化したときにパフォーマンスがどのように低下するかを測定するフレームワークを提供します。

仕組み

このベンチマークは「ペアプロトコル」を使用して、環境変化の影響を分離します。ベース ロールアウト（環境が安定している）と ダイナミック ロールアウト（同じタスクを実行するが、タスク中に特定のイベントがトリガーされる）を比較します。これら2つのシナリオを比較することで、研究者は、物体の移動、カメラのシフト、新しい障害物などの特定の変化がロボットの失敗をどの程度引き起こすかを正確に測定できます。

対象読者

このプロジェクトは、ロボットポリシー評価に取り組むロボット工学研究者や開発者向けに設計されています。AI駆動のロボットエージェントの堅牢性を、現実世界の予測不可能性に対してテストする標準化された方法を提供します。

ハイライト

• 8,000 ペアのシナリオ： 幾何学、観察、外観、経路制約をカバーする包括的なテストケースセットを含みます。
• ライト版： フルベンチマークを実行する前に、迅速なテストと開発用に、より小さな800ペアのサブセットを提供します。
• 実用的な診断： ターゲットの再配置など、テストされたポリシー全体で一貫して最も高い失敗率を引き起こす特定の脆弱性を特定します。
• パフォーマンスギャップの測定： ロボットがタスク中の環境変化に直面したときに発生する成功率の低下（通常11%から25.7%）を定量化します。