allenai/molmospaces

解決する課題

MolmoSpaces は、ロボット操作とナビゲーションのトレーニングと評価のための大規模でオープンなエコシステムを提供します。これは、ロボット AI 向けの高品質で多様なシミュレーションアセットと標準化されたベンチマークの不足に対処し、研究者が複数のシミュレータにわたって合成データを生成し、ポリシーをテストできるようにします。

仕組み

このプロジェクトは、MuJoCo、Isaac Sim、ManiSkill と互換性のある包括的なアセットライブラリ（Objaverse と手作りのセットからの数千の 3D オブジェクト、および手続き型生成または LLM 生成の多様なシーンを含む）を提供します。実験構成を使用してロボット、タスク、シーンを定義するデータ生成パイプラインと、原子ロボットタスクのパフォーマンスを測定するベンチマーク評価システムが含まれています。

対象者

具現化知能に取り組むロボット研究者と AI 開発者、特にロボット操作、ナビゲーション、およびロボットポリシー用の合成トレーニングデータの作成に焦点を当てている人々。

ハイライト

• マルチシミュレータサポート：アセットは MuJoCo、Isaac、ManiSkill で使用可能。
• 大規模アセットライブラリ：129,000 以上の変換済み Objaverse アセットと数千の手作り屋内オブジェクトを含む。
• 多様なシーン生成：手続き型生成シーンと LLM 生成環境をサポート。
• 統合ベンチマーク：リーダーボード付きの原子タスク評価用の専用ベンチマークを提供。
• テレオペレーションサポート：TeleDex アプリとの統合によるスマートフォンベースのロボット制御。