simpler-env/SimplerEnv

Evaluating and reproducing real-world robot manipulation policies (e.g., RT-1, RT-1-X, Octo) in simulation under common setups (e.g., Google Robot, WidowX+Bridge) (CoRL 2024)

解決する課題

汎用ロボット操作ポリシーの実世界評価は、コストが高く、非効率的で、再現が困難です。SimplerEnv は、物理ハードウェアを常に使用することなく、研究者がポリシーを定量的に評価し、チェックポイントを選択し、故障モードを特定できるようにする、スケーラブルなシミュレーション代替手段を提供します。

仕組み

SAPIEN シミュレーターと ManiSkill2(ManiSkill3 の GPU 加速サポートを含む)を基盤として構築されており、主に2つの実世界からシミュレーションへの評価戦略を実装しています。

  • 視覚的マッチング (Visual Matching):実世界の画像をシミュレーションの背景に重ね合わせ、ロボットや物体のテクスチャを実世界の見た目に合わせて調整します。
  • バリアント集約 (Variant Aggregation):異なる照明、背景、妨害物、テーブルのテクスチャなど、複数のシミュレーション環境バリエーション全体で結果を平均化します。

対象ユーザー

RT-1 や Octo などの汎用操作ポリシーを構築しているロボット工学の研究者や開発者で、実世界への展開前または展開と並行して、標準化された再現可能な方法でモデルをテストする必要がある方。

ハイライト

  • パッケージ化された環境:Google Robot や WidowX 用の、缶を拾う、引き出しを開ける、立方体を積み重ねるなどの多様なタスクが含まれています。
  • ポリシー統合:RT-1 および Octo ポリシーの組み込みサポートと推論スクリプトを提供します。
  • パフォーマンス指標:平均最大ランク違反 (MMRV) およびピアソン相関係数を計算するツールが含まれており、シミュレーション結果が実世界のパフォーマンスとどの程度相関しているかを測定します。
  • 拡張性:新しいロボット、ポリシー、評価環境を追加するためのガイドとツールを提供します。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト