RoboDojo-Benchmark/RoboDojo

RoboDojo – 범용 로봇 조작 정책을 위한 통합 시뮬레이션 및 실제 벤치마크

개요 – RoboDojo는 연구자가 로봇 조작 정책이 시뮬레이션(Isaac Sim)과 실제 하드웨어에서 얼마나 잘 작동하는지 측정할 수 있게 해주는 평가 전용 벤치마크입니다. 시뮬레이터 클라이언트, 3개의 로봇 플랫폼에 걸친 42개의 시뮬레이션 작업과 18개의 실제 작업 모음, 그리고 이러한 작업을 자동으로 실행하고 공개 리더보드에서 점수를 집계하는 도구를 제공합니다.

중요성 – 현재의 로봇 학습 벤치마크는 종종 단일 시뮬레이션 장면이나 제한된 실제 작업 세트에 집중되어 있어, 정책이 실제로 일반화되는지 판단하기 어렵습니다. RoboDojo는 의도적으로 다음을 결합합니다:

• 5가지 능력 차원(일반화, 기억, 정밀도, 장기, 오픈 엔드)을 통해 다양한 기술을 조사.
• 이종 병렬 시뮬레이션을 통해 Isaac Sim에서 많은 작업을 동시에 실행하여 빠른 피드백 제공.
• 물리적 기반 에셋(강체, 관절, 변형 가능한 객체)을 단일 구성 기반 장면에 통합.
• 실제 로봇 평가를 3가지 실시 형태(Piper X, Piper, ARX X5)에서 시뮬레이션과 동일한 작업 정의를 사용하여 수행.

작동 방식

1. 설치 리포지토리 (Python 3.11, Isaac Sim 5.1, Isaac Lab 2.3)를 수행하고 제공된 에셋과 데이터를 다운로드합니다.
2. 정책 선택 – 컴패니언 프로젝트 XPolicyLab에 있는 정책을 선택합니다(정책은 eval.sh 및 deploy.yml을 노출해야 함).
3. 헬퍼 스크립트 scripts/robodojo.sh(또는 하위 수준의 scripts/eval_policy.sh)를 실행하면 시뮬레이터가 시작되고 task/RoboDojo/에서 작업 구성을 로드하며 정책 서버와 통신합니다.
4. 실행이 완료되면 원커맨드 summarize가 작업별 점수를 표준 리더보드 테이블로 집계합니다.
5. 클라우드 평가 파이프라인을 통해 결과를 제출하여 공개 리더보드에 표시합니다(시뮬레이션 및 실제 트랙 모두 지원).

주요 리포지토리 구성 요소

• env/ – 병렬 작업 실행을 처리하는 핵심 시뮬레이터 백엔드 및 관리자.
• env_cfg/ – 시뮬레이터, 장면, 로봇 및 카메라 설정을 설명하는 YAML 파일.
• task/RoboDojo/ – 작업 로직 및 작업별 구성 파일.
• scripts/ – 평가 진입점 (robodojo.sh, eval_policy.sh).
• XPolicyLab/ – 정책을 로드하고 서버를 시작하며 RoboDojo와 통신하는 얇은 래퍼.
• Assets/ – 다운로드된 로봇 모델, 객체, 재질 및 레이아웃 파일.

시작하기 – 문서 사이트(README에서 링크)는 단계별 가이드가 포함된 Usage Overview, 참조 정책을 몇 분 만에 실행할 수 있는 Quick Evaluation 가이드, 각 시뮬레이션 및 실제 작업에 대한 상세 페이지를 제공합니다.

커뮤니티 및 재현성 – 점수는 시드 제어되며 전체 평가 스택이 오픈 소스이므로 누구나 게시된 결과를 재현할 수 있습니다. 라이브 리더보드는 현재의 최첨단 기술 상태를 보여주며, 프로젝트 웹 페이지에서 커뮤니티 포럼으로 연결됩니다.

인용 – 논문에서 RoboDojo를 사용하는 경우, arXiv 프리프린트 (Chen et al., 2026) 및 컴패니언 XPolicyLab 논문을 인용하십시오.

---

결론 – RoboDojo는 다양한 시뮬레이션 및 실제 작업 전반에서 범용 로봇 조작 정책을 테스트하기 위한 진지한 오픈 소스 벤치마크이며, 병렬 평가 및 공개 리더보드에 대한 지원이 내장되어 있습니다.