Agents' Last Exam (ALE)

它是什么

Agents' Last Exam (ALE) 是一个开源基准测试框架，用于评估能够像真实世界工作者一样操作的 AI 代理。它提供：

55 项具体专业任务（例如，数据录入、视频编辑、软件构建），分为 13 个行业集群，全部源自美国 O*NET 职业分类。
沙盒化执行环境（Linux、Windows、GPU、Docker、QEMU/KVM 或云虚拟机），忠实再现人类会使用的软件。
运行时编排器（ale_run），负责配置沙盒，将任务描述交给代理，让代理自主工作，然后根据隐藏参考对结果进行评分。
统一日志记录，记录每次工具调用、截图、文件更改和最终分数，使运行可复现且可审计。

目标是衡量代理是否能在具有经济价值、长期的工作流程中真正完成任务，而不仅仅是回答静态问题。

为什么重要

真实世界相关性 – 任务取自实际职业，并由行业专家验证，因此分数反映经济生产力。
长期、多模态 – 代理必须处理命令行和 GUI 操作，跨越多个步骤，这是大多数现有基准忽略的。
标准化比较 – 通过提供通用沙盒、隐藏参考和评分模式，ALE 让研究人员能在相同基础上比较非常不同的代理架构（Claude Code、Codex、Open-claw 等）。
开放数据和代码 – 框架、任务定义和参考实现均采用宽松许可证（代码为 Apache-2.0，数据为 CC-BY-4.0）。

如何开始

克隆仓库并安装主机依赖（支持 Ubuntu/Debian）。

git clone https://github.com/rdi-berkeley/agents-last-exam.git
cd agents-last-exam
bash env/install_host_deps.sh
uv sync --all-packages --locked
bash env/verify_host_env.sh

配置实验 – 复制示例 YAML，填写云凭证（或选择本地提供商），并选择任务列表。

cp example_exp.yaml my_experiment.yaml
# 编辑 my_experiment.yaml → 设置 provider、tasks、output_path 等。

运行试运行以检查一切，然后启动完整基准测试。

uv run python -m ale_run run my_experiment.yaml --dry-run
uv run python -m ale_run run my_experiment.yaml

检查结果 – ALE 存储统一的轨迹（逐步操作、工具调用、截图）以及最终数值分数和原始日志。您可以重放或审计任何运行。

提供商选项（选择一个）

提供商	典型用途	文档
Google Cloud VMs	在 Ubuntu/Windows + GPU 镜像上进行可扩展的批量运行	`docs/quickstart.md`
AWS EC2 + S3	现有 CPU 配置文件工作负载	AWS 指南
阿里云 ECS + OSS	与 AWS 相同，适用于阿里云用户	阿里云指南
Linux 主机上的 QEMU/KVM	无云成本的仅 CPU 虚拟机	本地指南
Docker（Ubuntu 子集）	轻量级本地测试	Docker 指南
现有沙盒	针对您已控制的机器进行调试	静态指南

谁在背后

UC Berkeley RDI（研究、开发与创新）与 RDI 基金会合作。
该项目由大型研究团队共同领导（参见引用中的完整作者列表），并吸收了数百位行业专家的意见。
公共网站、邮件列表、Discord 社区和定期发布保持生态系统活跃。

在哪里找到更多

网站和文档： https://agents-last-exam.org/（完整设计文档、提供商指南、任务画廊）
论文（arXiv）： https://arxiv.org/abs/2606.05405
排行榜和演示运行： https://agenthle.org/leaderboard 和 https://agenthle.org/demo
数据和模型中心： https://huggingface.co/agents-last-exam（任务数据、虚拟机镜像）
许可证： 代码为 Apache-2.0，基准数据为 CC-BY-4.0。

总结

Agents' Last Exam 是一个全面的开源基准测试，让您可以测试任何能够控制计算机（CLI + GUI）的 AI 代理在真实、具有经济价值的任务上的表现。它处理沙盒配置、隐藏参考评分，并生成可复现的日志，使其成为研究通用、工具使用代理的首选平台。

rdi-berkeley/agents-last-exam