TIGER-AI-Lab/ClawBench
Open-source benchmark for browser AI agents on daily tasks.
What it solves
ClawBench 是一個開源基準，旨在評估 AI 瀏覽器代理完成真實世界、日常線上任務的能力。它填補了衡量代理在執行複雜活動（如預訂旅行、點餐、申請工作以及在實時網站上管理電子郵件）時端到端成功率的空白。
How it works
ClawBench 透過啟動一個包含 Chromium 與特定代理 harness 的隔離 Docker 或 Podman 容器來運作。AI 代理接著驅動瀏覽器在實時網站上導航與互動。為確保評分精確，系統使用請求攔截器捕獲五層資料（包括影片錄製、請求日誌、操作日誌、代理訊息與攔截資料），再由代理式評估器與人工參考進行比對。
Who it’s for
此工具設計給開發者與研究人員，用於構建 AI 代理，特別是聚焦於瀏覽器自動化與「電腦使用」能力的團隊，他們需要一套標準化方式來衡量代理在多樣、真實任務上的成功率。
Highlights
- Extensive Task Library: Includes V1 (153 tasks) and V2 (130 tasks) covering 144 live websites across 15 life categories.
- Isolated Execution: Uses Docker/Podman containers to ensure a clean, isolated environment for browser interactions.
- Five-Layer Recording: Captures comprehensive execution traces (MP4 video, JSONL requests, action logs, etc.) for detailed analysis.
- Two-Stage Scoring: Employs a request interceptor and an inline LLM judge to automatically produce pass/fail results.