simpler-env/SimplerEnv
Evaluating and reproducing real-world robot manipulation policies (e.g., RT-1, RT-1-X, Octo) in simulation under common setups (e.g., Google Robot, WidowX+Bridge) (CoRL 2024)
解决的问题
对通用机器人操作策略进行现实世界评估既昂贵、效率低下且难以重现。SimplerEnv 提供了一种可扩展的模拟替代方案,让研究人员无需持续使用实体硬件,即可定量评估策略、选择检查点并识别故障模式。
运作原理
该项目基于 SAPIEN 模拟器和 ManiSkill2(并支持 ManiSkill3 的 GPU 加速),实现了两种主要的现实到模拟(real-to-sim)评估策略:
- 视觉匹配 (Visual Matching):将现实世界图像叠加到模拟背景上,并调整机器人和物体纹理以匹配现实外观。
- 变体聚合 (Variant Aggregation):对多种模拟环境变体(包括不同的光照、背景、干扰物和桌面纹理)的结果进行平均。
适用对象
正在构建通用操作策略(如 RT-1 或 Octo)的机器人研究人员和开发人员,他们需要在现实世界部署之前或同时,以标准化且可重现的方式测试其模型。
特点
- 预封装环境:包含 Google Robot 和 WidowX 的多种任务,例如拾取可乐罐、打开抽屉和堆叠立方体。
- 策略整合:提供对 RT-1 和 Octo 策略的内置支持和推理脚本。
- 性能指标:包含计算平均最大排名违规 (MMRV) 和皮尔森相关系数的工具,以衡量模拟结果与现实世界性能的相关性。
- 可扩展性:提供新增机器人、策略和评估环境的指南与工具。
相关
- 项目
- 项目
- 项目
- 项目