Accio-org/CommerceAgentBench

CommerceAgentBench: Benchmarking Long-Horizon Agents in High-Fidelity, Stateful, and Reproducible Replicas of Real Online Services

Commerce Agent Bench (Accio) – 快速概览

是什么 – 一个开源基准测试，用于衡量基于大语言模型 (LLM) 的 agent 在执行现实世界、多步骤商业工作流方面的表现。它包含了一系列 107 个任务 (CLI, browser, file, API/MCP)，这些任务在隔离的 Docker 容器中运行，并通过确定性或 LLM 辅助的检查器进行验证。

为什么重要 – 大多数现有的 LLM 评估侧重于单轮 QA 或短上下文生成。Commerce Agent Bench 改变了这一局面：agent 必须与真实服务的模拟版本（产品发布、货运预订、Shopify admin 等）进行交互，在调用之间保持状态，并产生正确的最终状态。这使得它成为评估即将在电子商务、供应链或其它商业流程自动化设置中部署的 agent 的一个有用代理。

关键特性 (如 README 所述)

| 特性 | 详情 | |---|---|| | 任务多样性 | 53 个 CLI, 28 个 browser, 16 个 file, 10 个 API/MCP 任务，涵盖产品目录、物流、店面定制、文档生成等。 | | 能力切片 | 65 个纯文本, 20 个具备 browser-text 能力, 22 个需要 vision 能力的任务 (后者需要图像处理)。 | | 有状态评估 | 每个任务都在一个全新的容器中运行，该容器托管了复制 SaaS API (例如, Alibaba, FreightOS, Shopify) 的本地 mock services，因此 agent 可以执行现实世界的状态变更，而无需外部账户。 | | 可审计的输出 | 运行结束后，框架会保存完整的轨迹、验证器结果、日志、截图、以及容器元数据，以实现可复现性。 | | OpenClaw harness | 该基准测试使用 OpenClaw 运行时 (固定 Docker 镜像 acciolyk/accio_bench@sha256:…)，它捆绑了 browser stack, mock services, 以及评估引擎。 | | 多供应商路由 | 内置了对原生 Gemini, native Qwen/DashScope, OpenRouter, 以及通用 OpenAI/Anthropic 终端节点 (endpoints) 的配置。用户也可以指向自定义终端节点。 | | LLM-judge | 验证可以由 LLM 辅助；默认的 judge 是 gemini-3.1-pro-preview。 | | 可复现性契约 | 该仓库 (repo) 固定了任务集、任务定义、harness 版本, 以及运行时镜像 (v1.3.1)，以使结果在不同运行之间具有可比性。 | | 排行榜 & 展示 | 实时排行榜 (commerce-agent-bench.site.accio.ai) 和静态 UI mock 展示，让你可以探索任务截图。 | | 贡献路径 | 用户可以贡献新的 mock services; 经过审核后，它们将成为未来基准测试版本的组成部分。 |

典型使用场景

研究与模型开发 – 在现实的商业工作流套件上测试一个新的 LLM-agent 架构 (例如, tool-use planner, memory module)。 | 2. 模型比较 – 复制已发布的表格 (Pi, OpenClaw, Accio harness) 来查看一个模型相对于 Claude Opus, Qwen, Gemini, 等的地位。 | | 3. 预发布验证 – Accio 团队提供在产品发布前对未发布的 checkpoint 进行私有评估的方案。 | | 4. 基准测试扩展 | 贡献一个新的 mock service (例如, 一个不同的 marketplace) 以保持基准测试随着模型的改进而保持新鲜。 | | 5. 教育演示 | 向学生展示 agent 可以如何在受控环境中驱动 browser, 调用 CLI tools, 以及操作处理表格。 |

入门指南 (来自 README)

# 1. 创建一个 Python 3.11+ venv
python3 -m venv .venv && source .venv/bin/activate

# 2. 以可编辑模式安装包
python -m pip install -e .

# 3. 验证 CLI 是否工作
commerce-agent-bench list

拉取运行时镜像 (任何运行都需要)

docker pull --platform linux/amd64 \
  acciolyk/accio_bench@sha256:1e9cf5c72a56794175b7d06ece036b92e296e6b7e9e9a7fa244026f6acea3859

运行单个任务 (以 Gemini 为例)

export GEMINI_API_KEY="YOUR_KEY"
commerce-agent-bench run api-amazon-margin-floor-audit \
  --harness openclaw \
  --image acciolyk/accio_bench@sha256:1e9cf5c72a56794175b7d06ece036b92e296e6b7e9e9a7fa244026f6acea3859 \
  --platform linux/amd64 \
  --openclaw-model google/gemini-3.5-flash \
  --openclaw-image-model google/gemini-3.5-flash \
  --openclaw-models-config configs/native_google_direct_models.json \
  --llm-judge-provider gemini \
  --llm-judge-model gemini-3.1-pro-preview \
  --run-id smoke

运行全套任务 (或一个切片)

commerce-agent-bench run \
  --config configs/openclaw_native_google_direct.yaml \
  --run-id "openclaw-$(date +%Y%m%d-%H%M%S)"

添加 --limit 1 进行快速冒烟测试。

局限性 & 开放问题 (如已披露)

| 局限性 | 解释 | |---|---|| | 结果包未存储在 Git 中 | 原始的每个任务的结果文件尚未进行版本控制, 于是可复现性依赖于聚合的排行榜 (leaderboard) 和固定的运行时镜像。 | | Vision 任务需要图像处理能力 | 只有能够处理截图或渲染页面的 agent 才能在 22 个需要 vision 的任务中取得成功; 许多开源 agent 缺乏这种能力。 | | Provider-specific 差异 | 对于 Qwen 模型, "reasoning_content" 必须在各轮次之间进行重放; 否则分数无法比较。 | | 硬件要求 | 必须使用支持 linux/amd64 的 Docker; Apple-silicon 主机需要模拟, 这可能会更慢。 | | 没有内置 agent | 该仓库 (repo) 提供基准测试和 harness, 但不包含任何现成的 agent 实现——你必须接入你自己的模型终端节点 (endpoints)。 | | 评分细粒度 | 指标是简单的通过率, 平均步数, 时间, 以及 token 数量; 它们无法捕捉细微的质量方面 (例如, 成本效率, 对 UI 变化的鲁棒性)。 | |

谁在背后开发？

由 Alibaba International 的 Accio 团队 开发并维护。该团队也维护着相关的 Business Arena 基准测试, 旨在进行长期商业模拟。

快速参考链接

实时排行榜: https://commerce-agent-bench.site.accio.ai/
Mock UI 展示: https://commerce-agent-bench-mock-showcase.site.accio.ai/
Citation file: CITATION.cff
Contribution guide: CONTRIBUTING.md
Security policy: SECURITY.md

以上所有信息直接取自仓库的 README; 没有添加任何外部假设。