Agents' Last Exam (ALE)

概要

Agents' Last Exam (ALE) は、実世界のワーカーのように動作できる AI エージェントを評価するためのオープンソースのベンチマークフレームワークです。以下を提供します：

55 の具体的な専門タスク（例：データ入力、ビデオ編集、ソフトウェアビルド）を 13 の業界クラスターにグループ化。すべて米国 O*NET 職業分類に由来。
サンドボックス化された実行環境（Linux、Windows、GPU、Docker、QEMU/KVM、またはクラウド VM）で、人間が使用するソフトウェアを忠実に再現。
実行時オーケストレーター（ale_run）がサンドボックスをプロビジョニングし、タスクの説明をエージェントに渡し、エージェントが自律的に作業し、その後隠れた参照と照合して結果を採点。
すべてのツール呼び出し、スクリーンショット、ファイル変更、最終スコアの統一ログにより、実行の再現性と監査可能性を確保。

目標は、エージェントが静的な質問に答えるだけでなく、経済的に価値のある長期的なワークフローで実際に仕事を完了できるかを測定することです。

重要性

実世界との関連性 – タスクは実際の職業から取られ、業界専門家によって検証されているため、スコアは経済的生産性を反映します。
長期的かつマルチモーダル – エージェントは多くのステップにわたってコマンドラインと GUI の両方のアクションを処理する必要があり、これは既存のベンチマークのほとんどが無視している点です。
標準化された比較 – 共通のサンドボックス、隠れた参照、採点スキーマを提供することで、ALE は研究者が非常に異なるエージェントアーキテクチャ（Claude Code、Codex、Open-claw など）を同じ土台で比較できるようにします。
オープンデータとコード – フレームワーク、タスク定義、参照実装はすべて寛容なライセンス（コードは Apache-2.0、データは CC-BY-4.0）の下で提供されます。

始め方

リポジトリをクローンし、ホスト依存関係をインストールします（Ubuntu/Debian 対応）。

git clone https://github.com/rdi-berkeley/agents-last-exam.git
cd agents-last-exam
bash env/install_host_deps.sh
uv sync --all-packages --locked
bash env/verify_host_env.sh

実験を設定 – サンプル YAML をコピーし、クラウド認証情報を入力（またはローカルプロバイダーを選択）し、タスクリストを選択します。
```
cp example_exp.yaml my_experiment.yaml
# my_experiment.yaml を編集 → provider、tasks、output_path などを設定
```
ドライランを実行してすべてを確認し、その後フルベンチマークを起動します。
```
uv run python -m ale_run run my_experiment.yaml --dry-run
uv run python -m ale_run run my_experiment.yaml
```
結果を確認 – ALE は統一された軌跡（ステップごとのアクション、ツール呼び出し、スクリーンショット）を最終的な数値スコアと生ログとともに保存します。任意の実行を再生または監査できます。

プロバイダーオプション（1 つ選択）

プロバイダー	典型的な用途	ドキュメント
Google Cloud VMs	Ubuntu/Windows + GPU イメージでのスケーラブルなバッチ実行	`docs/quickstart.md`
AWS EC2 + S3	既存の CPU プロファイルワークロード	AWS ガイド
Alibaba Cloud ECS + OSS	AWS と同じ、Ali-Yun ユーザー向け	Alibaba ガイド
Linux ホスト上の QEMU/KVM	クラウドコストなしの CPU のみの VM	ローカルガイド
Docker（Ubuntu サブセット）	軽量なローカルテスト	Docker ガイド
既存のサンドボックス	制御済みのマシンに対するデバッグ	静的ガイド

背景

UC Berkeley RDI（研究・開発・イノベーション）が RDI 財団と提携。
プロジェクトは大規模な研究者チーム（引用の完全な著者リストを参照）によって共同主導され、数百人の業界専門家の意見を取り入れて構築されています。
公開ウェブサイト、メーリングリスト、Discord コミュニティ、定期的なリリースによりエコシステムが活性化しています。

詳細情報

ウェブサイトとドキュメント： https://agents-last-exam.org/（完全な設計ドキュメント、プロバイダーガイド、タスクギャラリー）
論文（arXiv）： https://arxiv.org/abs/2606.05405
リーダーボードとデモ実行： https://agenthle.org/leaderboard および https://agenthle.org/demo
データとモデルハブ： https://huggingface.co/agents-last-exam（タスクデータ、VM イメージ）
ライセンス： コードは Apache-2.0、ベンチマークデータは CC-BY-4.0。

要約

Agents' Last Exam は、コンピューター（CLI + GUI）を制御できる任意の AI エージェントを、現実的で経済的に価値のあるタスクでテストできる包括的なオープンソースベンチマークです。サンドボックスのプロビジョニング、隠れた参照による採点、再現可能なログの生成を処理し、汎用ツール使用エージェントの研究のための頼りになるプラットフォームです。

rdi-berkeley/agents-last-exam

Agents' Last Exam (ALE)

概要

重要性

始め方

プロバイダーオプション（1 つ選択）

背景

詳細情報

要約

関連