ClawBench – AI 브라우저 에이전트를 위한 벤치마크

정의 – 실제 웹사이트(여행 예약, 음식 주문, 구직, 이메일 관리 등)에서 AI 에이전트가 일상적인 작업을 얼마나 잘 수행하는지 측정하는 오픈소스 벤치마크입니다. 두 개의 테스트 코퍼스(V1 = 143개 사이트의 152개 작업, V2 = 63개 사이트의 129개 작업)와 각 실행을 기록하는 5계층 기록 파이프라인, 그리고 인간의 참조와 대조하여 LLM 기반 평가자로 점수를 매기는 기능이 포함되어 있습니다.

빠른 시작 (직접 벤치마크 실행)

# 1️⃣ 리포지토리 복제
```bash
git clone https://github.com/TIGER-AI-Lab/ClawBench.git && cd ClawBench

2️⃣ CLI 설치 (하나 선택)

uv tool install clawbench-eval          # 권장, 빠름
# 또는
pipx install clawbench-eval
# 또는
python -m pip install clawbench-eval

3️⃣ 컨테이너 엔진 설치 (Docker 또는 Podman) – 벤치마크는 컨테이너 내부에서 Chrome을 실행합니다.

예: macOS에서: brew install --cask docker && open -a Docker

4️⃣ 처음 실행 시 컨테이너 이미지가 빌드됩니다 (Chromium + ffmpeg + noVNC + 에이전트 하네스)

clawbench   # 편집 가능한 기본 models/models.yaml 파일이 생성됩니다

5️⃣ 설정을 편집하여 LLM 판정 모델(예: DeepSeek‑v4‑pro)과 필요한 자격 증명을 지정합니다.

$EDITOR models/models.yaml

6️⃣ 작업 실행 (대화형 TUI에서 모델과 테스트 케이스 선택 가능)

clawbench

CLI에는 일괄 실행, 재점수, 분석, 게시된 결과 재현(`clawbench-run`, `clawbench-batch`, `clawbench-rescore` 등)을 위한 하위 명령어가 있습니다.

---

## 주요 기능
| 기능 | 설명 |
|---|---|
| **라이브 웹 작업** | 실제 웹사이트에서 테스트 (모의 없음) |
| **두 개의 코퍼스** | 15개 생활 카테고리를 다루는 V1(152개 작업, 143개 사이트) 및 V2(129개 작업, 63개 사이트) |
| **5계층 추적 기록** | 브라우저 비디오, DOM 스냅샷, 네트워크 로그, 에이전트 동작, 최종 결과를 캡처 |
| **LLM 기반 평가자** | 에이전트형 판정기(기본 DeepSeek‑v4‑pro)가 각 실행을 인간 참조 추적과 비교하여 성공 점수를 생성 |
| **리더보드** | HuggingFace Space에서 코퍼스별, 하네스별, 루브릭별 점수 표시 |
| **확장 가능** | JSON 스펙 + 루브릭을 제공하여 새 작업이나 모델 추가 가능 (기여 가이드 포함) |
| **컨테이너 격리 하네스** | Chrome 및 필수 종속성을 Docker/Podman 내에서 실행하여 OS 간 재현성 보장 |
| **Python CLI 및 라이브러리** | PyPI(`clawbench-eval`)로 설치 가능하며 사용자 정의 파이프라인용 라이브러리로도 사용 가능 |
| **데이터 다운로드** | 모든 작업 정의, 루브릭, 원시 추적은 HuggingFace 데이터셋에서 호스팅 |

---

## ClawBench를 사용하는 경우
- **연구** – 현실적인 웹 기반 워크플로에서 새로운 LLM 에이전트, 도구 사용 플래너, 또는 검색 증강 시스템을 평가.
- **모델 비교** – 여러 에이전트에 동일한 작업 세트를 실행하고 나란히 리더보드를 확인.
- **오류 분석** – 5계층 추적으로 실행을 재생하고, 스크린샷, DOM 변경, 네트워크 트래픽을 검사할 수 있음.
- **벤치마크 기여** – 새로운 일상 작업(예: 새로운 전자상거래 체크아웃 흐름)을 추가하고 커뮤니티와 공유.

---

## 리소스
- **라이브 리더보드** – <https://huggingface.co/spaces/TIGER-Lab/ClawBench>
- **논문 (arXiv)** – <https://arxiv.org/abs/2604.08523>
- **데이터셋** – <https://huggingface.co/datasets/NAIL-Group/ClawBench>
- **작업 탐색기** – <https://claw-bench.com/tasks>
- **GitHub 이슈 / FAQ** – 문제 해결 및 커뮤니티 질문용.

---

*ClawBench는 단순한 튜토리얼 목록이나 간단한 데모가 아닌 실제 AI 에이전트 벤치마크입니다. 일상적인 온라인 작업을 수행하는 프론티어 AI 에이전트를 위한 전체 평가 파이프라인, 데이터, 공개 리더보드를 제공합니다.*

TIGER-AI-Lab/ClawBench