allenai/molmospaces

解決的問題

MolmoSpaces 提供一個大規模的開源生態系統，用於機器人操作與導航，解決了對多樣化、高品質模擬環境與資料集的需求，以訓練與評估機器人策略。它能產生龐大的合成資料，協助機器人在現實世界中實現零樣本操作能力。

工作原理

本專案提供跨多個模擬器（包括 MuJoCo、Isaac 和 ManiSkill）的場景轉換、抓取生成與基準評估框架。它使用資產管理器來處理龐大的物件庫（如 Objaverse 中的物件）與場景（包括手動設計與程序生成的環境）。使用者可透過設定檔定義實驗，以產生資料或在特定任務（如抓取、開啟或關閉物件）上評估策略。

適用對象

專為從事機器人學習、操作與導航的研究人員與開發者設計，他們需要可擴展的模擬資產與標準化基準來測試 AI 策略。

主要亮點

• 多模擬器支援：資產與 MuJoCo、Isaac 和 ManiSkill 相容。
• 龐大資產庫：包含超過 129,000 個轉換後的 Objaverse 資產與數千個程序生成的場景。
• 整合基準測試：提供針對原子任務（如抓取、開啟、關閉）的專用基準，並附帶排行榜。
• 遠端操作支援：整合 TeleDex iPhone 應用，支援在模擬中即時控制機器人。
• GPU 加速：支援 cuRobo，實現加速運動規劃。