Accio-org/CommerceAgentBench

CommerceAgentBench: Benchmarking Long-Horizon Agents in High-Fidelity, Stateful, and Reproducible Replicas of Real Online Services

Commerce Agent Bench (Accio) – クイック概要

概要 – 大規模言語モデル（LLM）ベースのエージェントが、現実世界の多段階のコマース・ワークフローをどの程度実行できるかを測定するオープンソースのベンチマークです。隔離されたDockerコンテナ内で実行され、決定論的またはLLM支援によるチェッカーによって検証される107個のタスク（CLI、ブラウザ、ファイル、API/MCP）を提供します。

重要性 – 既存のLLM評価の多くは、シングルターンのQAや短いコンテキストの生成に焦点を当てています。Commerce Agent Benchは、その流れを変えます。エージェントは、実際のサービスのモック版（商品公開、運送予約、Shopify管理など）と相互作用し、呼び出し間で状態を維持し、正しい最終状態を生成する必要があります。これにより、eコマース、サプライチェーン、またはその他のビジネスプロセス自動化の設定で展開されるエージェントを評価するための有用なプロキシとなります。

主要機能（READMEに記載）

機能	詳細
タスクの多様性	商品カタログ、物流、ストアフロントのカスタマイズ、ドキュメント生成などをカバーする、53個のCLI、28個のブラウザ、16個のファイル、10個のAPI/MCPタスク。
能力の区分	65個のテキストのみ、20個のブラウザ・テキスト対応、22個のビジョンが必要なタスク（後者は画像処理が必要）。
状態管理評価	各タスクは、SaaS API（例：Alibaba, FreightOS, Shopify）を複製するローカルのモックサービスをホストする新しいコンテナ内で実行されるため、エージェントは外部アカウントなしで現実世界の状態変化を実行できます。
監査可能な出力	実行後、フレームワークは再現性のために、完全な軌跡、検証結果、ログ、スクリーンショット、およびコンテナのメタデータを作成保存します。
OpenClaw harness	ベンチマークは、ブラウザスタック、モックサービス、および評価エンジンをまとめたOpenClawランタイム（固定されたDockerイメージ `acciolyk/accio_bench@sha256:…`）を使用します。
複数のプロバイダー・ルート	Gemini、Qwen/DashScope、OpenRouter、および汎用的なOpenAI/Anthropicエンドポイント用の組み込み設定。ユーザーはカスタムエンドポイントを指定することも可能です。
LLM-judge	検証はLLM支援で行うことができます。デフォルトの判定官は `gemini-3.1-pro-preview` です。
再現性の契約	リポジトリは、実行間で結果を比較可能にするため、タスクセット、タスク定義、harness version、およびランタイムイメージ（v1.3.1）を固定しています。
リーダーボード & 展示会	ライブ・リーダーボード（`commerce-agent-bench.site.accio.ai`）と、タスクのスクリーンショットを確認できる静的なUIモック展示会があります。
貢献への道	ユーザーは新しいモックサービスを提供できます。レビューを経て、将来のベンチマーク・リリースに組み込まれます。

代表的なユースケース

研究 & モデル開発 – 現実的なコマース・ワークフロー・スイートを用いて、新しいLLMエージェントのアーキテクチャ（例：ツール使用プランナー、メモリ・モジュール）をテストする。
モデル比較 – 公開されている表（Pi, OpenClaw, Accio harness）を再現し、Claude Opus, Qwen, Gemini, 等々を、モデルがどの程度の位置にいるかを確認する。
リリース前検証 – Accioチームは、製品をリリースする前に、未公開のチェックポイントに対してプライベートな評価を実施することを提案しています。
ベンチマークの拡張 | 新しいモック・サービス（例：異なるマーケットプレイス）を提供することで、モデルの向上に合わせてベンチマークを最新の状態に保つ。
教育的デモ | 学生に対し、エージェントが制御された環境下でブラウザを操作、CLIツールを呼び出し、スプレッドシートを操作する方法を示します。

はじめに（READMEより）

# 1. Python 3.11+ の venv を作成する
python3 -m venv .venv && source .venv/bin/activate

# 2. パッケージを編集可能モードでインストールする
python -m pip install -e .

# 3. CLI が動作することを確認する
commerce-agent-bench list

ランタイム・イメージのプル（全実行に必要）

docker pull --platform linux/amd64 \
  acciolyk/accio_bench@sha256:1e9cf5c72a56794175b7d06ece036b92e296e6b7e9e9a7fa244026f6acea3859

単一タスクの実行（Gemini を使用した例）

export GEMINI_API_KEY="YOUR_KEY"
commerce-agent-bench run api-amazon-margin-floor-audit \
  --harness openclaw \
  --image acciolyk/accio_bench@sha256:1e9cf5c72a56794175b7d06ece036b92e296e6b7e9e9a7fa244026f6acea3859 \
  --platform linux/amd64 \
  --openclaw-model google/gemini-3.5-flash \
  --openclaw-image-model google/gemini-3.5-flash \
  --openclaw-models-config configs/native_google_direct_models.json \
  --llm-judge-provider gemini \
  --llm-judge-model gemini-3.1-pro-preview \
  --run-id smoke

フル・スイートの実行（または一部の切り出し）

commerce-agent-bench run \
  --config configs/openclaw_native_google_direct.yaml \
  --run-id "openclaw-$(date +%Y%m%d-%H%M%S)"

--limit 1 を追加して、クイックなスモークテストを行うことができます。

制限事項 & 未解決の問題（公開されているもの）

制限事項	説明
結果の束が Git に保存されない	タスクごとの生の結果ファイルはまだバージョン管理されていません。そのため、再現性は、集計されたリーダーボードと固定されたランタイム・イメージに依存します。
ビジョン・タスクには画像処理が必要	スクリーンショットやレンダリングされたページを処理できるエージェントのみが、22個のビジョンが必要なタスクに成功します。多くのオープンソース・エージェントは、この機能が欠けてています。
プロバイダー固有の癖	Qwen モデルの場合、「reasoning_content」をターン間で再現（replay）する必要があります。そうでない場合、スコアは比較不能になります。
ハードウェア要件	`linux/amd64` サポートのある Docker が必須です。Apple-silicon ホストはエミュレーションが必要となり、速度が低下する可能性があります。
内蔵エージェントなし	リポジトリはベンチマークと harness を提供しますが、準備されたエージェントの実装は含まれていません。独自のモデル・エンドポイントを接続する必要があります。
スコアリングの粒度	指標は単純な合格率、平均ステップ数、時間、およびトークン数です。コスト効率や UI の変化に対する堅牢性といった、微細な品質の側面は捉えきれません。

誰が開発しているのか？

Alibaba International の Accio チーム によって開発・維持されています。同一グループは、より長期的なビジネス・シミュレーションを扱う関連の Business Arena ベンチマークも維持しています。

クイック・リファレンス・リンク

ライブ・リーダーボード: https://commerce-agent-bench.site.accio.ai/
Mock UI 展示会: https://commerce-agent-bench-mock-showcase.site.accio.ai/
Citation ファイル: CITATION.cff
Contribution ガイド: CONTRIBUTING.md
Security ポリシー: SECURITY.md

All information above is taken directly from the repository's README; no external assumptions have been added.