ClawBench – AIブラウザエージェントのためのベンチマーク

概要 – 実在のウェブサイト（旅行予約、食べ物の注文、仕事の応募、メール管理など）でAIエージェントが日常的なタスクをどの程度こなせるかを測定する、オープンソースのベンチマークです。2つのテストコーパス（V1＝143サイトの152タスク、V2＝63サイトの129タスク）と、各実行を記録する5層の記録パイプライン、そして人間の参照と照合してLLMベースの評価器でスコアリングする機能が含まれています。

クイックスタート（自分でベンチマークを実行）

# 1️⃣ リポジトリをクローン
```bash
git clone https://github.com/TIGER-AI-Lab/ClawBench.git && cd ClawBench

2️⃣ CLIをインストール（いずれかを選択）

uv tool install clawbench-eval          # 推奨、高速
# または
pipx install clawbench-eval
# または
python -m pip install clawbench-eval

3️⃣ コンテナエンジンをインストール（DockerまたはPodman） – ベンチマークはコンテナ内でChromeを実行します。

macOSの場合: brew install --cask docker && open -a Docker

4️⃣ 初回実行でコンテナイメージがビルドされます（Chromium + ffmpeg + noVNC + エージェントハーネス）

clawbench   # 編集可能なデフォルトの models/models.yaml が作成されます

5️⃣ 設定を編集して、使用するLLMジャッジ（例: DeepSeek‑v4‑pro）と必要な資格情報を指定します。

$EDITOR models/models.yaml

6️⃣ タスクを実行（対話型TUIでモデルとテストケースを選択できます）

clawbench

CLIには、バッチ実行、再スコアリング、分析、公開結果の再現（`clawbench-run`、`clawbench-batch`、`clawbench-rescore`など）のためのサブコマンドがあります。

---

## 主な機能
| 機能 | 説明 |
|---|---|
| **ライブウェブタスク** | 実際のWebサイトに対してテストを実行（モックなし） |
| **2つのコーパス** | 15の生活カテゴリをカバーするV1（152タスク、143サイト）とV2（129タスク、63サイト） |
| **5層トレース記録** | ブラウザビデオ、DOMスナップショット、ネットワークログ、エージェントアクション、最終結果をキャプチャ |
| **LLMベース評価器** | エージェント型ジャッジ（デフォルトはDeepSeek‑v4‑pro）が各実行を人間の参照トレースと比較し、成功スコアを生成 |
| **リーダーボード** | HuggingFace Spaceで、コーパスごと、ハーネスごと、ルーブリックごとのスコアを表示 |
| **拡張可能** | JSON仕様+ルーブリックを提供することで新しいタスクやモデルを追加可能（貢献ガイド付き） |
| **コンテナ分離されたハーネス** | Chromeと必要な依存関係をDocker/Podman内で実行し、OS間の再現性を確保 |
| **Python CLIとライブラリ** | PyPI（`clawbench-eval`）からインストール可能で、カスタムパイプライン用のライブラリとしても利用可能 |
| **データダウンロード** | すべてのタスク定義、ルーブリック、生トレースはHuggingFaceデータセットで公開 |

---

## ClawBenchの使用ケース
- **研究** – 新しいLLMエージェント、ツール使用プランナー、または検索拡張システムを、現実的なWebベースのワークフローで評価。
- **モデル比較** – 複数のエージェントで同じタスクセットを実行し、比較リーダーボードを表示。
- **エラー分析** – 5層トレースにより、実行のリプレイ、スクリーンショットの確認、DOM変更やネットワークトラフィックの検査が可能。
- **ベンチマーク貢献** – 新しい日常タスク（例: 新しいEコマースのチェックアウトフロー）を追加してコミュニティと共有。

---

## リソース
- **ライブリーダーボード** – <https://huggingface.co/spaces/TIGER-Lab/ClawBench>
- **論文（arXiv）** – <https://arxiv.org/abs/2604.08523>
- **データセット** – <https://huggingface.co/datasets/NAIL-Group/ClawBench>
- **タスクエクスプローラー** – <https://claw-bench.com/tasks>
- **GitHub Issues / FAQ** – トラブルシューティングやコミュニティの質問用。

---

*ClawBenchは、単なるチュートリアルリストや簡単なデモではなく、本物のAIエージェントベンチマークです。日常的なオンラインタスクに取り組むフロンティアAIエージェント向けに、完全な評価パイプライン、データ、公開リーダーボードを提供します。*

TIGER-AI-Lab/ClawBench