allenai/vla-evaluation-harness

vla-evaluation-harness – 모든 로봇 시뮬레이션 벤치마크에서 모든 VLA 모델을 평가하는 단일 프레임워크

정의 – Python 라이브러리(pip install vla-eval로 설치)로, 각 벤치마크의 종속성을 수동으로 설정하지 않고도 VLA(Vision-Language-Action) 모델을 다양한 로봇 시뮬레이션 벤치마크(LIBERO, CALVIN, SimplerEnv 등)에서 실행할 수 있습니다. 벤치마크는 Docker 컨테이너 내에서 실행되고, 모델 코드는 경량 HTTP 서버(모델 서버)로 제공됩니다. 하네스는 이 둘을 조정하고 결과를 기록하며 대규모 배치 병렬 실행을 수행할 수 있습니다.

주요 기능

• 대규모 매트릭스 – 18개 벤치마크 × 2,456개 재현 모델(2026 리더보드 기준). OpenVLA, π₀, GR00T, OFT, X-VLA, MolmoBot 등의 공식 모델 서버와 dexbotic, starVLA, 🤗 LeRobot의 커뮤니티 서버를 포함합니다.
• 설정 불필요 Docker – 벤치마크는 사전 빌드된 Docker 이미지로 제공되며 하네스가 자동으로 가져옵니다. 벤치마크 간 종속성 충돌이 없습니다.
• 배치 병렬 평가 – 에피소드를 여러 프로세스로 샤딩하고 모델 추론을 배치 처리하여 최대 약 47배 속도 향상(단일 H100에서 2,000 LIBERO 에피소드를 18분에 처리)을 제공합니다.
• Python API – vla_eval.evaluate(model_server, config_path)를 사용하여 훈련 중에 평가할 수 있습니다. examples/pusht_train_eval/ 스크립트에 예제가 있습니다.
• 관찰 가능성 – 결과는 JSON 또는 SQLite 기록으로 저장되며 Weights & Biases, TrackIO 및 내장 내보내기 도구와 통합됩니다.
• 확장 가능 – 스킬(skills/add-benchmark/, skills/add-model-server/) 및 AI 지원 템플릿으로 새로운 벤치마크나 모델 서버를 추가할 수 있습니다.

일반적인 워크플로우

1. 모델 서빙(GPU 호스트):

   vla-eval serve --config configs/model_servers/openvla/libero.yaml
   

2. 벤치마크 실행(기본적으로 Docker 사용):

   vla-eval run --config configs/benchmarks/libero/spatial.yaml
   

   결과는 results/에 나타납니다.
3. 선택적 배치 실행 – ./scripts/run_sharded.sh -c <config> -n <num_shards>로 여러 샤드를 시작하고 모델 서버 구성에서 max_batch_size를 활성화합니다.

설치 – pip install vla-eval(Python 3.8 이상, SQLite 3.24 이상 필요). 개발을 위해 리포지토리를 클론하고 uv sync를 사용하세요.

대상 사용자 – 다양한 로봇 시뮬레이션 스위트에서 재현 가능하고 비교 가능한 평가를 원하는 VLA 에이전트를 구축하는 연구자, 빠르고 확장 가능한 벤치마킹 파이프라인이 필요한 엔지니어.

자세히 알아보기 – README의 Motivation, Batch Parallel Evaluation 섹션, 아키텍처 문서, 그리고 라이브 리더보드를 참조하세요.