allenai/vla-evaluation-harness

One framework to evaluate any VLA model on any robot simulation benchmark.

What it solves

评估 Vision-Language-Action (VLA) 模型通常是碎片化的，因为每个机器人模拟基准测试（如 LIBERO 或 CALVIN）都有其自身的依赖项、观察格式和评估协议。这通常导致研究团队必须为每个基准测试维护单独、私有的 fork，从而导致结果不一致，并缺乏在实时条件下进行标准化测试。

How it works

该工具架构提供了一个抽象层，通过两个主要机制将模型与基准测试解耦：

  • Dockerized Benchmarks: 每个基准测试环境都封装为独立的 Docker 镜像，以确保精确的复现性并避免依赖冲突。
  • Standalone Model Servers: 模型作为独立的脚本（使用 uv）提供服务，并带有内联依赖声明，使其能够被集成一次后，即可在任何支持的基准测试中进行评估。

为了加速评估，系统使用了 Episode Sharding（将任务拆分到多个进程）和 Batch Inference（将请求分组为单次 GPU 前向传播），这可以将吞吐量提高达 47 倍。

How it works

Who it’s for

研究人员和开发者，特别是从事 VLA 模型和具身智能 (Embodied AI) 的研究人员，需要一种统一、可复现的方式来评估其模型在多个机器人模拟基准测试中的表现。

Highlights

  • Massive Integration Matrix: 支持 18 个基准测试和 13 个官方模型服务器，包括 OpenVLA, $\pi_0$, 和 GR00T。
  • High Throughput: 批次并行评估可以在单个 H100 上将 2,000 个回合 (episodes) 的墙钟时间 (wall-clock time) 从 14 小时减少到 18 分钟。
  • Zero Setup: 使用 Docker 和 uv 脚本来消除手动环境配置。
  • Unified Leaderboard: 聚合了来自 18 个基准测试中超过 2,000 个模型的数据。
  • Observability: 内置 SQLite 记录回合结果，并提供可选的视频捕获功能以进行视觉化调试。

相关

  • 项目
    OpenBMB/DeepThinkVLA

    DeepThinkVLA 是一个视觉-语言-动作模型，它在生成机器人动作前插入一个显式的链式思维推理步骤。采用混合解码器（自回归推理 → 双向并行动作生成），作者在新构建的具身CoT数据集上训练，再通过成果驱动的强化学习进行优化。该模型在LIBERO基准上实现97 %的平均成功率，推理延迟仅为纯自回归基线的0.175×，并能零样本迁移到更新的LIBERO Plus套件。

  • 项目
    sou350121/VLA-Handbook

    一个持续更新的开源手册，汇集 VLA（视觉-语言-行动）研究、工程技巧、社区笔记与行业情报，提供可复现脚本、硬件指南、RSS 订阅源与 AI 助手技能，所有内容均在 CC-BY-4.0 许可下发布。

  • 项目
    dexmal/dexbotic

    Dexbotic 是一个用于 Vision-Language-Action (VLA) 研究的开源 PyTorch 工具箱。它集成了预训练 VLA 模型 (π0, CogACT, OFT, MemVLA 等)、模块化训练/评估脚本、LoRA 微调、云端就绪的分布式训练，以及针对 UR5, Franka, 和 Unitree G1 SONIC 等机器人的部署助手。该项目提供 Docker 镜像、详尽的文档、基准测试表和统一的实时推理 API，并采用 MIT 协议进行发布。

  • 项目
    dsta022/Loop-Engineering-for-VLA

    Loop Engineering for VLAnything 是一个端到端的 Python 工具包，可让您记录、合并、审计、丰富并迭代改进用于视觉-语言-动作模型的多模态机器人学习数据集（RGB、RGB-D 及未来视觉触觉）。它提供保守的、侧车优先的质量审计、可插拔的语义评估器、语言标注流水线以及策略改进的闭环反馈，完全兼容 LeRobot 数据格式，并可发布到 Hugging Face。

  • 项目
    isaac-sim/IsaacLab-Arena

    Isaac Lab‑Arena 是 NVIDIA Isaac Lab 的一个阿尔法阶段开源扩展，允许通过混合可重用的 *场景*、*实体* 和 *任务* 原语来构建机器人仿真环境。它在运行时组装这些组件，支持顺序任务链、自然语言物体放置和大规模并行评估，使基准测试或训练通用机器人策略变得更加容易。安装可通过 `uv` Python 管理器或提供的 Docker 镜像完成；该库仅支持 Linux，需要 NVIDIA GPU 和 Isaac Sim。项目采用 Apache 2.0 许可证（包含专有的 Isaac Sim 组件），旨在用于研究而非生产。