RoboDojo-Benchmark/RoboDojo

What it solves

RoboDojoは、汎用的なロボット操作ポリシーを評価するために設計された統合ベンチマークです。単なる視覚的な変化ではなく、特定のロボット能力をプローブするための標準化されたタスクと環境を提供することで、シミュレーションと現実世界のパフォーマンスのギャップをギャップを解消します。

How it works

このプロジェクトは、シミュレータクライアント、ベンチマークタスク、およびアセット検証ツールを提供します。Isaac Simを活用してヘテロジニアスな並列シミュレーションを行い、異なるタスクとシーンを並行して実行することで、迅速なフィードバックを得ることができます。ベンチマークは、3つの異なるロボット形態にわたる42のシミュレーションタスクと18の現実世界のタスクに分割されています。評価はXPolicyLabと統合されており、さまざまなポリシーをテストするための統一インターフェースを提供します。

Who it’s for

シミュレーション環境と現実世界の環境の両方で、性能を厳密かつ再現性のある方法で測定する必要がある、汎用的なロボット操作ポリシーに取り組む研究者や開発者です。

Highlights

• Sim-and-Real Unity: シミュレーションと現実世界の環境を設定を合わせた計60のタスクを組み合わせます。
• 差距-Driven Design: 能力次元に基づいた設計。5つの次元を評価します：Generalization、Memory、Precision、Long-Horizon、および Open。
• Scalable Simulation: 効率化のため、Isaac Sim上でヘテロジニアスな並列シミュレーションを使用します。
• Physically Grounded: 設定駆動型のシーンにおいて、剛体、関節、および変形可能なオブジェクトをサポートします。
• Leaderboard Integration: 再現可能なランキングを実現するために、シード値制御されたレイアウトと自動集計機能を含んでいます。