ClawBench – 面向AI浏览器代理的基准测试

概述 – 一个开源基准测试，衡量AI代理在真实网站上完成日常任务（旅行预订、订餐、求职、邮件管理等）的能力。它包含两个测试语料库（V1 = 143个网站的152个任务，V2 = 63个网站的129个任务），以及一个5层记录管道，捕获每次运行，然后与人工参考对照，使用基于LLM的评估器进行评分。

---

快速开始（自行运行基准测试）

# 1️⃣ 克隆仓库
```bash
git clone https://github.com/TIGER-AI-Lab/ClawBench.git && cd ClawBench

2️⃣ 安装CLI（选择一种）

uv tool install clawbench-eval          # 推荐，快速
# 或
pipx install clawbench-eval
# 或
python -m pip install clawbench-eval

3️⃣ 安装容器引擎（Docker或Podman） – 基准测试在容器内运行Chrome。

例如macOS上: brew install --cask docker && open -a Docker

4️⃣ 首次运行将构建容器镜像（Chromium + ffmpeg + noVNC + 代理框架）

clawbench   # 创建可编辑的默认 models/models.yaml

5️⃣ 编辑配置以指向您的LLM评估器（例如DeepSeek‑v4‑pro）以及所需的任何凭据。

$EDITOR models/models.yaml

6️⃣ 运行任务（交互式TUI允许您选择模型和测试用例）

clawbench

CLI提供用于批量运行、重新评分、分析和重现已发布结果（`clawbench-run`、`clawbench-batch`、`clawbench-rescore`等）的子命令。

---

## 主要功能
| 功能 | 说明 |
|---|---|
| **实时网页任务** | 针对真实网站进行测试（无模拟） |
| **两个语料库** | V1（152个任务、143个网站）和V2（129个任务、63个网站）涵盖15个生活类别 |
| **5层跟踪记录** | 捕获浏览器视频、DOM快照、网络日志、代理操作和最终结果 |
| **基于LLM的评估器** | 代理型评估器（默认为DeepSeek‑v4‑pro）将每次运行与人工参考轨迹进行比较，并生成成功分数 |
| **排行榜** | HuggingFace Space显示每个语料库、每组框架和每个评分标准的分数 |
| **可扩展** | 通过提供JSON规范+评分标准添加新任务或模型（包含贡献指南） |
| **容器隔离框架** | Chrome和依赖项在Docker/Podman内运行，确保跨操作系统可重复性 |
| **Python CLI和库** | 可通过PyPI（`clawbench-eval`）安装，并可用作自定义管道的库 |
| **数据下载** | 所有任务定义、评分标准和原始跟踪都托管在HuggingFace数据集上 |

---

## ClawBench的适用场景
- **研究** – 在现实的基于Web的工作流中评估新的LLM代理、工具使用规划器或检索增强系统。
- **模型比较** – 在多个代理上运行相同的任务集，并查看并排排行榜。
- **错误分析** – 使用5层跟踪，您可以重放运行、检查截图、DOM更改和网络流量。
- **基准贡献** – 添加新的日常任务（例如，新的电子商务结账流程）并与社区共享。

---

## 资源
- **实时排行榜** – <https://huggingface.co/spaces/TIGER-Lab/ClawBench>
- **论文（arXiv）** – <https://arxiv.org/abs/2604.08523>
- **数据集** – <https://huggingface.co/datasets/NAIL-Group/ClawBench>
- **任务浏览器** – <https://claw-bench.com/tasks>
- **GitHub Issues / FAQ** – 用于故障排除和社区问题。

---

*ClawBench是真实的AI代理基准测试，而不是简单的教程列表或琐碎的演示。它为处理日常在线任务的前沿AI代理提供完整的评估管道、数据和公开排行榜。*