E-Commerce Bench は、長期の e コマース運用における LLM エージェントを評価する

TL;DR

Qwen は E‑Commerce Bench を導入した。これは、100,000 円の資本金で複数のオンラインストアを運営する1年間の決定論的シミュレーションであり、7つの能力軸で18の LLM エージェントを評価した結果、トップモデルですら一部の次元で優れたパフォーマンスを発揮するにとどまることを示した。

ベンチマーク概要

  • 目的: LLM エージェントが自然な終了点のない継続的な e コマース事業運営能力を測定すること。
  • 設定: エージェントは100,000 円の初期資本金でスタートし、複数のストアを開設可能。シミュレートされた365日間、毎日、カテゴリ調査、サプライヤーとの交渉、価格設定、商品リストアップ、在庫管理、プロモーション、キャッシュフローなどの意思決定を行う必要がある。
  • データソース: 実世界の Taobao および Tmall データ（6,886 製品、60 カテゴリ、576 サプライヤー、12 ストアタイプ、10 マーケットイベント、8 プロモーション）をプライバシー保護のために脱識別化したもの。
  • 制約: 1日あたり600分の時間予算。各ツール呼び出しは分単位で消費される（例：残高照会 = 10 分、ストア開設 = 60 分）。コストは即時控除されるが、収益は出荷、エスクロー、9日間の決済期間により遅延する。
  • 運用詳細: 在庫保管料は毎日発生し、配送速度が運賃に影響する。2日以内に発送されない注文はキャンセルされる。評価は需要に直接乗算される。

決定論的コアエンジン

  • 需要モデル: 完全に決定論的。ある SKU のある日の販売数量は、ベース需要、価格弾力性、週末効果、プロモーション、季節性、イベント、ストア評価、市場需要の上限から計算される。
  • 交渉カーネル: サプライヤーの見積もり、妥協、離脱意思決定は決定論的カーネルによって生成され、再現性を確保する。LLM はカーネルの意思決定を自然言語の対話に変換するのみで、確率的な価格変動を排除しつつ、複数ラウンドの交渉の雰囲気を維持する。
  • なぜ決定論的か？: ユーザーとサプライヤーの両方にランダム性があると、モデル間の真の差が隠れ、ジャイルブレイク攻撃が可能になる。経済的決定を固定することで、エージェントの戦略的実力のみを評価できる。

評価プロトコル

  • 実行回数: 各モデルあたり5回の年間エピソード、合計18 LLM エージェントで90エピソード。
  • 主な指標: 年末の総資産（初期の100,000 円に対する倍率）。結果は GPT‑5.6 Sol が143万円（14.31倍）を達成し、Qwen‑3.5‑Plus が平均110万円を記録した。
  • 失敗モード: 10エピソード（約11％）が破産で終了。主に初期の過剰在庫とキャッシュフローの崩壊が原因。
  • 副次的軸（0–1点、特に記載がない限り）:
    1. 交渉品質 – サプライヤーの提示価格を下回る価格を提示できる能力。
    2. 詐欺回避 – 認知された詐欺的サプライヤーに支出された調達費の割合。
    3. キャッシュフローおよび健全性 – 1年間を通じた流動性の維持。
    4. 運用効率 – ツール呼び出し1回あたりの利益。
    5. 運用実行 – 配送、現金引き出し、在庫リストアップなどの行動の効果的な活用。
    6. 長期にわたる学習 – AnchorRatio で測定。再購入価格がランダムベースラインと比較して改善する程度。

主な発見

利益の格差

  • クローズドソースモデルが利益ランキングで優位。最も優れたオープンウェイトモデル（Qwen‑3.8‑Max‑Preview）でも4.16倍のリターンを達成。
  • 資産トレンドは3つのパターンに分類される：安定成長（トップモデル）、早期破産（中程度の失敗）、初期資本金付近の平坦なパフォーマンス（下位層）。

交渉品質

  • どのモデルもサプライヤーのコストフロアに到達できなかった。Claude Opus 4.7 が最高（0.811）、Kimi K2.6 は提示価格の改善がわずか（0.596）。
  • 1つのモデルにおける6種類のサプライヤー行動スタイルごとのパフォーマンス差は小さかったが、モデル間での差は大きかった。

詐欺回避

  • 詐欺的支出はモデル間で 160倍 の差があり、0.12 %（Claude Opus 4.7）から 20.11 %（Qwen‑3.5‑Plus）まで変動した。
  • すべてのモデルが「スクリーニングなし」のナーディブベースライン（26.4 % のサプライヤーが詐欺的）より優れていた。主な差異は、詐欺的連絡先からの 注文コンバージョン率 であり、連絡先の数ではない。

運用効率

  • ツール呼び出し1回あたりの利益は GPT‑5.6 Sol で363 円、Fable5 で479 円。Fable5 は 59.9 % 少ない呼び出しで同等の利益を達成した。
  • 呼び出しの71.8 % は配送、現金引き出し、在庫リストアップなど低影響の行動に使われ、調達コストに影響する行動はわずか6 %にとどまった。

長期にわたる学習

  • AnchorRatio は再購入価格が時間とともに改善するかを測定する。モデル間の中央値は 1.369（ランダムより劣る）であり、Qwen‑3.8‑Max‑Preview のみが本物の学習を示した（AnchorRatio = 0.834）。
  • 多くのモデルは1年間で購入価格を下げられず、後半のシミュレーションではより詐欺的なパートナーに傾いた。

LLM エージェント開発への示唆

  • 単一指標評価は誤解を招く: 利益を最大化するモデルは、詐欺回避や学習の点で下位にランクインする可能性がある。
  • 決定論的ベンチマーク は再現性があり、比較可能な結果を提供し、確率的ノイズから戦略的実力を分離する。
  • 多軸スコアリング は、交渉や詐欺スクリーニングなどの特定の弱点を浮き彫りにし、開発者が改善に集中できる。
  • 改善の余地は大きい: 各軸での最高スコアも1.0に遠く及ばず、今後の LLM エージェントが自律的ビジネス運用で大幅な進歩を遂げる余地が広い。

今後の方向性

  • 決定論的カーネルの概念を、サプライチェーンロジスティクスや金融取引など、他の長期的領域に拡張することで、再現可能なベンチマークの標準化が可能になる。
  • より豊かなサプライヤー行動スタイルや動的な市場ショックを追加することで、耐性をさらに検証できる。
  • ベンチマーク環境をオープンソース化することで、コミュニティ主導のモデル改善や複数研究室間の比較が可能になる。

引用

@misc{fan2026ecommercebenchevaluatingllm,
  title = {E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation},
  author = {Wei Fan and Xinjie Shen and Xudong Guo and Jianhong Tu and Yang Su and Yinger Zhang and Lianghao Deng and Fengyu Wang and Baohua Dong and Yangqiu Song and Dayiheng Liu},
  year = {2026},
  eprint = {2608.30730},
  archivePrefix = {arXiv},
  primaryClass = {cs.LG},
  url = {https://arxiv.org/abs/2608.30730}
}

元のブログ記事に言及されたすべての図は、概念的に再現されている。ベンチマークコードおよびデータは、リンクされた Qwen GitHub リポジトリから入手可能。

Sources