liberomax/LIBERO-MAX

해결하는 문제

LIBERO-MAX는 작업이 이미 진행 중일 때 발생하는 예상치 못한 환경 변화에 로봇 제어 정책이 성공적으로 적응할 수 있는지 평가하는 과제를 해결합니다. 많은 기존 벤치마크는 정적 환경에서 로봇을 테스트하지만, 이 프로젝트는 실행 중에 환경이 변할 때 성능이 어떻게 저하되는지 측정하는 프레임워크를 제공합니다.

작동 방식

이 벤치마크는 "페어 프로토콜"을 사용하여 환경 변화의 영향을 분리합니다. 기본 롤아웃(환경이 안정적으로 유지됨)과 동적 롤아웃(동일한 작업을 수행하지만 작업 중에 특정 이벤트가 트리거됨)을 비교합니다. 이 두 시나리오를 비교함으로써 연구자들은 물체 이동, 카메라 이동, 새로운 장애물과 같은 특정 변화가 로봇을 얼마나 실패하게 하는지 정확히 측정할 수 있습니다.

대상 독자

이 프로젝트는 로봇 정책 평가에 종사하는 로봇공학 연구자와 개발자를 위해 설계되었습니다. AI 기반 로봇 에이전트의 견고성을 실제 세계의 예측 불가능성에 대해 테스트하는 표준화된 방법을 제공합니다.

주요 특징

• 8,000개의 페어 시나리오: 기하학, 관찰, 외관, 경로 제약을 포괄하는 포괄적인 테스트 케이스 세트를 포함합니다.
• 라이트 버전: 전체 벤치마크를 실행하기 전에 빠른 테스트와 개발을 위해 더 작은 800쌍 하위 집합을 제공합니다.
• 실행 가능한 진단: 테스트된 정책 전반에 걸쳐 일관되게 가장 높은 실패율을 유발하는 대상 재배치와 같은 특정 취약점을 식별합니다.
• 성능 격차 측정: 로봇이 작업 중 환경 변화에 직면할 때 발생하는 성공률 감소(일반적으로 11%에서 25.7%)를 정량화합니다.