simpler-env/SimplerEnv

Evaluating and reproducing real-world robot manipulation policies (e.g., RT-1, RT-1-X, Octo) in simulation under common setups (e.g., Google Robot, WidowX+Bridge) (CoRL 2024)

解决的问题

对通用机器人操作策略进行现实世界评估既昂贵、效率低下且难以重现。SimplerEnv 提供了一种可扩展的模拟替代方案,让研究人员无需持续使用实体硬件,即可定量评估策略、选择检查点并识别故障模式。

运作原理

该项目基于 SAPIEN 模拟器和 ManiSkill2(并支持 ManiSkill3 的 GPU 加速),实现了两种主要的现实到模拟(real-to-sim)评估策略:

  • 视觉匹配 (Visual Matching):将现实世界图像叠加到模拟背景上,并调整机器人和物体纹理以匹配现实外观。
  • 变体聚合 (Variant Aggregation):对多种模拟环境变体(包括不同的光照、背景、干扰物和桌面纹理)的结果进行平均。

适用对象

正在构建通用操作策略(如 RT-1 或 Octo)的机器人研究人员和开发人员,他们需要在现实世界部署之前或同时,以标准化且可重现的方式测试其模型。

特点

  • 预封装环境:包含 Google Robot 和 WidowX 的多种任务,例如拾取可乐罐、打开抽屉和堆叠立方体。
  • 策略整合:提供对 RT-1 和 Octo 策略的内置支持和推理脚本。
  • 性能指标:包含计算平均最大排名违规 (MMRV) 和皮尔森相关系数的工具,以衡量模拟结果与现实世界性能的相关性。
  • 可扩展性:提供新增机器人、策略和评估环境的指南与工具。

相关

  • 项目
  • 项目
  • 项目
  • 项目