allenai/vla-evaluation-harness

vla-evaluation-harness – あらゆるVLAモデルをあらゆるロボットシミュレーションベンチマークで評価するための統合フレームワーク

概要 – Pythonライブラリ（pip install vla-evalでインストール可能）で、各ベンチマークの依存関係を手動で設定することなく、VLA（Vision-Language-Action）モデルを多数のロボットシミュレーションベンチマーク（LIBERO、CALVIN、SimplerEnvなど）に対して実行できます。ベンチマークはDockerコンテナ内で実行され、モデルコードは軽量なHTTPサーバー（モデルサーバー）として提供されます。ハーネスはこれら2つを調整し、結果を記録し、大規模なバッチ並列実行が可能です。

主な機能

• 大規模なマトリクス – 18のベンチマーク×2,456の再現モデル（2026年のリーダーボード時点）。OpenVLA、π₀、GR00T、OFT、X-VLA、MolmoBotなどの公式モデルサーバーに加え、dexbotic、starVLA、🤗 LeRobotからのコミュニティサーバーも利用可能。
• セットアップ不要のDocker – ベンチマークは事前にビルドされたDockerイメージで提供され、ハーネスが自動的にプルします。ベンチマーク間の依存関係の競合はありません。
• バッチ並列評価 – エピソードは多数のプロセスにシャーディングされ、モデル推論はバッチ処理されるため、最大で約47倍の高速化（単一のH100で2,000のLIBEROエピソードを18分で処理）を実現します。
• Python API – vla_eval.evaluate(model_server, config_path)を使用すると、トレーニング中に評価できます。examples/pusht_train_eval/スクリプトに例があります。
• 可観測性 – 結果はJSONまたはSQLiteレコーディングとして保存され、Weights & Biases、TrackIO、および組み込みのエクスポートツールと統合できます。
• 拡張可能 – スキル（skills/add-benchmark/、skills/add-model-server/）とAI支援テンプレートにより、新しいベンチマークやモデルサーバーを追加できます。

典型的なワークフロー

1. モデルを提供（GPUホスト）：

   vla-eval serve --config configs/model_servers/openvla/libero.yaml
   

2. ベンチマークを実行（デフォルトでDocker）：

   vla-eval run --config configs/benchmarks/libero/spatial.yaml
   

   結果はresults/に表示されます。
3. オプションのバッチ実行 – ./scripts/run_sharded.sh -c <config> -n <num_shards>で多数のシャードを起動し、モデルサーバー設定でmax_batch_sizeを有効にします。

インストール – pip install vla-eval（Python 3.8以上、SQLite 3.24以上が必要）。開発用には、リポジトリをクローンしてuv syncを使用します。

対象ユーザー – 多くのロボットシミュレーションスイートで再現可能で比較可能な評価を必要とするVLAエージェントを構築する研究者、および高速でスケーラブルなベンチマークパイプラインを必要とするエンジニア。

詳細情報 – READMEのMotivation、Batch Parallel Evaluationセクション、アーキテクチャドキュメント、およびライブリーダーボードを参照。