allenai/molmospaces

解决的问题

MolmoSpaces 提供了一个大规模的开源生态系统，用于机器人操作和导航，解决了对多样化、高质量仿真环境和数据集的需求，以训练和评估机器人策略。它能够生成海量合成数据，帮助机器人在现实世界中实现零样本操作能力。

工作原理

该项目提供了一个跨多个模拟器（包括 MuJoCo、Isaac 和 ManiSkill）的场景转换、抓取生成和基准评估框架。它使用资产管理器来处理庞大的对象库（如 Objaverse 中的对象）和场景（包括手工制作和程序生成的环境）。用户可以通过配置文件定义实验，以生成数据或在特定任务（如抓取、打开或关闭物体）上评估策略。

适用人群

专为从事机器人学习、操作和导航的机器人研究人员和开发者设计，他们需要可扩展的仿真资产和标准化的基准来测试 AI 策略。

主要亮点

• 多模拟器支持：资产与 MuJoCo、Isaac 和 ManiSkill 兼容。
• 海量资产库：包含超过 129,000 个转换后的 Objaverse 资产和数千个程序生成的场景。
• 集成基准测试：提供针对原子任务（如抓取、打开、关闭）的专用基准，并附带排行榜。
• 远程操作支持：集成 TeleDex iPhone 应用，支持在仿真中实时控制机器人。
• GPU 加速：支持 cuRobo，实现加速运动规划。