allenai/vla-evaluation-harness

One framework to evaluate any VLA model on any robot simulation benchmark.

What it solves

評估 Vision-Language-Action (VLA) 模型通常是碎片化的，因為每個機器人模擬基準測試（例如 LIBERO 或 CALVIN）都有其自身的依賴項、觀察格式與評估協定。這通常導致研究團隊必須為每個基準測試維護獨立且私有的 fork，進而導致結果不一致，且缺乏在即時條件下的標準化測試。

How it works

該工具架構提供了一個抽象層，透過兩個主要機制將模型與基準測試解耦：

  • Dockerized Benchmarks: 每個基準測試環境都封裝為獨立的 Docker 映像檔，以確保完全的可重現性並避免依賴項衝突。
  • Standalone Model Servers: 模型以獨立腳本（使用 uv）的形式提供服務，並附帶內聯依賴項宣告，使其能夠被整合一次後，即可在任何支援的基準測試中進行評估。

為了加速評估，系統使用了 Episode Sharding（將任務拆分到多個程序）與 Batch Inference（將請求分組為單次 GPU 前向傳播），這可以將吞吐量提高達 47 倍。

Who it’s for

研究人員與開發人員，特別是從事 VLA 模型與具身智能 (Embodied AI) 的研究人員，需要一種統一且可重現的方式來評估其模型在多個機器人模擬基準測試中的表現。

Highlights

  • Massive Integration Matrix: 支援 18 個基準測試與 13 個官方模型伺服器，包括 OpenVLA, $\pi_0$, 與 GR00T。
  • High Throughput: 批次平行評估可以在單個 H100 上將 2,000 個回合 (episodes) 的牆鐘時間 (wall-clock time) 從 14 小時縮短至 lib 18 分鐘。
  • Zero Setup: 使用 Docker 與 uv 腳本來消除手動環境配置。
  • Unified Leaderboard: 整合了來自 18 個基準測試中超過 2,000 個模型的數據。
  • Observability: 內建 SQLite 記錄回合結果，並提供可選的影片擷取功能以進行視覺化除錯。",

相關

  • 專案
    OpenBMB/DeepThinkVLA

    DeepThinkVLA 是一個視覺-語言-行動模型，在生成機器人動作前插入一個顯式的鏈式思考推理步驟。使用混合解碼器（自回歸推理 → 雙向平行動作生成），作者在新整理的具身CoT資料集上訓練，再以成果導向的強化學習進行優化。該模型在 LIBERO 基準上達成 97 % 的平均成功率，推理延遲僅為純自回歸基線的 0.175×，並能零樣本遷移到更新的 LIBERO Plus 套件。

  • 專案
    sou350121/VLA-Handbook

    一個持續更新的開源手冊，匯集 VLA（視覺-語言-行動）研究、工程技巧、社群筆記與產業情報，提供可重現腳本、硬體指南、RSS 訂閱源與 AI 助手技能，所有內容均在 CC-BY-4.0 授權下發布。

  • 專案
    dexmal/dexbotic

    Dexbotic 是一個用於 Vision-Language-Action (VLA) 研究的開源 PyTorch 工具箱。它整合了預訓練 VLA 模型（π0, CogACT, OFT, MemVLA 等）、模組化訓練/評估腳本、LoRA 微調、雲端就緒的分布式訓練，以及針對 UR5, Franka 與 Unitree G1 SONIC 等機器人的部署助手。該專案提供 Docker 鏡像、詳盡的文件、基準測試表格與統一的即時推理 API，並採用 MIT 授權。

  • 專案
    dsta022/Loop-Engineering-for-VLA

    Loop Engineering for VLAnything 是一個端到端的 Python 工具包，可讓您記錄、合併、審計、豐富並迭代改進用於視覺-語言-動作模型的多模態機器人學習資料集（RGB、RGB-D 及未來的視覺觸覺）。它提供保守的、側車優先的品質審計、可插拔的語意評估器、語言標註流程以及策略改進的封閉迴路反饋，完全相容 LeRobot 資料格式，並可發布至 Hugging Face。

  • 專案
    isaac-sim/IsaacLab-Arena

    Isaac Lab‑Arena 是 NVIDIA Isaac Lab 的一個 Alpha 階段開源擴充，允許透過混合可重用的 *場景*、*實體* 和 *任務* 原語來建立機器人模擬環境。它在執行時組裝這些元件，支援順序任務鏈、自然語言物件放置與大規模平行評估，使基準測試或訓練通用機器人策略變得更容易。安裝可透過 `uv` Python 管理器或提供的 Docker 鏡像完成；該程式庫僅支援 Linux，需 NVIDIA GPU 與 Isaac Sim。專案採用 Apache 2.0 許可（包含專有的 Isaac Sim 元件），旨在用於研究而非生產。