allenai/molmospaces

何を解決するか

MolmoSpaces は、ロボットの操作とナビゲーションのための大規模なオープンエコシステムを提供し、多様で高品質なシミュレーション環境とデータセットの必要性に対応しています。ロボットが現実世界でゼロショット操作能力を達成するのを支援するため、大量の合成データの生成を可能にします。

仕組み

本プロジェクトは、MuJoCo、Isaac、ManiSkill などの複数のシミュレータ間でシーン変換、把持生成、ベンチマーク評価のフレームワークを提供します。Objaverse などのオブジェクトや手作業および手続き的に生成された環境を含む膨大なアセットライブラリを管理するアセットマネージャーを使用しています。ユーザーは設定ファイルを定義することで、ピッキング、開閉などの特定のタスクにおけるデータ生成やポリシー評価を実行できます。

対象ユーザー

ロボット学習、操作、ナビゲーションに取り組むロボティクス研究者および開発者向けに設計されており、スケーラブルなシミュレーションアセットと標準化されたベンチマークを必要とするAIポリシーのテストに適しています。

特徴

• マルチシミュレータ対応: アセットは MuJoCo、Isaac、ManiSkill と互換性があります。
• 大規模なアセットライブラリ: 129,000以上の変換済み Objaverse アセットと、数千の手続き的に生成されたシーンを含みます。
• 統合ベンチマーク: 原子的なタスク（例：ピッキング、開く、閉じる）向けの専用ベンチマークと関連するリーダーボードを備えています。
• 遠隔操作対応: TeleDex iPhone アプリとの統合により、シミュレーション内でのリアルタイムロボット制御が可能になります。
• GPU加速: cuRobo をサポートし、高速な運動計画が可能になります。