liberomax/LIBERO-MAX

解决的问题

LIBERO-MAX 解决了评估机器人控制策略能否成功适应任务进行中发生的意外环境变化的挑战。许多现有基准测试在静态环境中测试机器人，但该项目提供了一个框架，用于衡量当世界在执行过程中发生变化时性能如何下降。

工作原理

该基准测试使用“配对协议”来隔离环境变化的影响。它将 基础 运行（环境保持稳定）与 动态 运行（执行相同任务，但在任务中途触发特定事件）进行比较。通过比较这两种场景，研究人员可以精确衡量特定变化（如物体移动、摄像头偏移或新障碍物）导致机器人失败的程度。

适用对象

该项目面向从事机器人策略评估的机器人研究人员和开发者。它提供了一种标准化的方法来测试 AI 驱动的机器人代理在面对现实世界不可预测性时的鲁棒性。

亮点

• 8,000 个配对场景： 包含覆盖几何、观察、外观和路径约束的全面测试用例集。
• 精简版： 提供较小的 800 对子集，用于在运行完整基准测试之前进行快速测试和开发。
• 可操作的诊断： 识别特定漏洞，例如目标重新定位，这始终导致测试策略中失败率最高。
• 性能差距测量： 量化机器人在面对任务中途环境变化时发生的成功率下降（通常为 11% 到 25.7%）。