Accio-org/CommerceAgentBench

CommerceAgentBench: Benchmarking Long-Horizon Agents in High-Fidelity, Stateful, and Reproducible Replicas of Real Online Services

Commerce Agent Bench (Accio) – 빠른 개요

무엇인가 – 대규모 언어 모델(LLM) 기반 에이전트가 실제 세계의 다단계 상거래 워크플로를 얼마나 잘 수행할 수 있는지 측정하는 오픈소스 벤치마크입니다. 고립된 Docker 컨테이너 내에서 실행되는 107개의 작업(CLI, 브라우저, 파일, API/MCP)을 제공하며, 결정론적 또는 LLM 지원 검증기로 검증됩니다.

왜 중요한가 – 기존의 대부분의 LLM 평가에서는 단일 회차 질의응답 또는 짧은 컨텍스트 생성에 초점이 맞춰져 있습니다. Commerce Agent Bench는 이와 반대되는 접근을 취합니다: 에이전트는 실제 서비스의 모의 버전(제품 게시, 운송 예약, Shopify 관리자 등)과 상호작용해야 하며, 호출 간 상태를 유지하고 올바른 최종 상태를 생성해야 합니다. 이는 전자상거래, 공급망, 기타 비즈니스 프로세스 자동화 환경에 배포될 에이전트를 평가하는 유용한 대표 지표가 됩니다.

주요 기능 (README에 설명된 내용)

기능	세부 사항
작업 다양성	제품 카탈로그, 물류, 스토어 커스터마이징, 문서 생성 등 포함하여 53개 CLI, 28개 브라우저, 16개 파일, 10개 API/MCP 작업
능력 슬라이스	65개 텍스트 전용, 20개 브라우저-텍스트 기능 가능, 22개 시각 처리 필요 작업(후자는 이미지 처리가 필요함)
상태 기반 평가	각 작업은 로컬 모의 서비스를 호스팅하는 새 컨테이너에서 실행되며, SaaS API(예: 알리바바, FreightOS, Shopify)를 모방하여 외부 계정 없이 실제 세계의 상태 변경을 수행할 수 있음
검증 가능한 출력	실행 후 프레임워크는 전체 경로, 검증 결과, 로그, 스크린샷, 컨테이너 메타데이터를 저장하여 재현 가능성을 보장
OpenClaw 하네스	벤치마크는 OpenClaw 런타임(고정된 Docker 이미지 `acciolyk/accio_bench@sha256:…`)을 사용하며, 브라우저 스택, 모의 서비스, 평가 엔진을 모두 포함
다중 제공자 경로	네이티브 Gemini, 네이티브 Qwen/DashScope, OpenRouter, 일반 OpenAI/Anthropic 엔드포인트를 위한 내장 구성이 있으며, 사용자는 사용자 정의 엔드포인트도 지정할 수 있음
LLM-판사	검증은 LLM 지원 가능; 기본 판사는 `gemini-3.1-pro-preview`
재현 가능성 계약	작업 세트, 작업 정의, 하네스 버전, 런타임 이미지(v1.3.1)를 고정하여 실행 간 결과 비교 가능하도록 함
리더보드 및 쇼케이스	실시간 리더보드(`commerce-agent-bench.site.accio.ai`)와 정적 UI 모크 쇼케이스를 통해 작업 스크린샷을 탐색할 수 있음
기여 경로	사용자는 새로운 모의 서비스를 기여할 수 있으며, 검토 후 향후 벤치마크 릴리스의 일부가 됨

일반적인 사용 사례

연구 및 모델 개발 – 새로운 LLM-에이전트 아키텍처(예: 도구 사용 계획기, 메모리 모듈)를 현실적인 상거래 워크플로 세트에서 테스트
모델 비교 – 발표된 표(Pi, OpenClaw, Accio 하네스)를 재현하여 모델이 Claude Opus, Qwen, Gemini 등과 비교해 어디에 위치하는지 확인
출시 전 검증 – Accio 팀은 제품 출시 전에 공개되지 않은 체크포인트에 대해 사전 평가를 제공
벤치마크 확장 – 새로운 모의 서비스(예: 다른 마켓플레이스)를 기여하여 모델 발전에 따라 벤치마크를 최신 상태로 유지
교육용 데모 – 학생들에게 에이전트가 브라우저를 제어하고 CLI 도구를 호출하며 스프레드시트를 조작하는 방식을 통제된 환경에서 보여줌

시작하기 (README에서)

# 1. Python 3.11+ 가상 환경 생성
python3 -m venv .venv && source .venv/bin/activate

# 2. 편집 가능 모드로 패키지 설치
python -m pip install -e .

# 3. CLI가 작동하는지 확인
commerce-agent-bench list

런타임 이미지 다운로드 (모든 실행에 필수)

docker pull --platform linux/amd64 \
  acciolyk/accio_bench@sha256:1e9cf5c72a56794175b7d06ece036b92e296e6b7e9e9a7fa244026f6acea3859

단일 작업 실행 (Gemini 예시)

export GEMINI_API_KEY="YOUR_KEY"
commerce-agent-bench run api-amazon-margin-floor-audit \
  --harness openclaw \
  --image acciolyk/accio_bench@sha256:1e9cf5c72a56794175b7d06ece036b92e296e6b7e9e9a7fa244026f6acea3859 \
  --platform linux/amd64 \
  --openclaw-model google/gemini-3.5-flash \
  --openclaw-image-model google/gemini-3.5-flash \
  --openclaw-models-config configs/native_google_direct_models.json \
  --llm-judge-provider gemini \
  --llm-judge-model gemini-3.1-pro-preview \
  --run-id smoke

전체 세트 실행 (또는 일부 실행)

commerce-agent-bench run \
  --config configs/openclaw_native_google_direct.yaml \
  --run-id "openclaw-$(date +%Y%m%d-%H%M%S)"

빠른 스모크 테스트를 위해 --limit 1 추가 가능

제한 사항 및 열린 문제 (공개된 내용)

제한 사항	설명
결과 번들 Git에 저장되지 않음	개별 작업의 원시 결과 파일은 아직 버전 관리되지 않아, 재현 가능성은 집계된 리더보드와 고정된 런타임 이미지에 의존
시각 작업은 이미지 처리 필요	22개의 시각 처리 필요 작업에서 성공하려면 스크린샷 또는 렌더링된 페이지를 처리할 수 있는 에이전트여야 하며, 많은 오픈소스 에이전트는 이 기능이 부족
제공자별 특이점	Qwen 모델의 경우 "reasoning_content"는 모든 턴에 걸쳐 재생되어야 하며, 그렇지 않으면 점수가 비교 불가
하드웨어 요구사항	Docker와 `linux/amd64` 지원이 필수적; Apple-silicon 호스트는 에뮬레이션을 필요로 하며, 느릴 수 있음
내장 에이전트 없음	리포지토리는 벤치마크와 하네스만 제공하며, 준비된 에이전트 구현체는 포함하지 않음 – 사용자는 자체 모델 엔드포인트를 연결해야 함
점수 세부 수준 부족	메트릭은 간단한 통과율, 평균 단계 수, 시간, 토큰 수에 불과하며, 비용 효율성, UI 변경에 대한 강건성과 같은 미묘한 품질 측면은 포착하지 못함

개발 및 유지보수 팀

알리바바 인터내셔널의 Accio 팀이 개발 및 유지보수 중입니다. 동일한 팀은 더 장기적인 비즈니스 시뮬레이션을 다루는 관련 Business Arena 벤치마크도 유지 관리하고 있습니다.

빠른 참조 링크

실시간 리더보드: https://commerce-agent-bench.site.accio.ai/
모의 UI 쇼케이스: https://commerce-agent-bench-mock-showcase.site.accio.ai/
인용 파일: CITATION.cff
기여 가이드: CONTRIBUTING.md
보안 정책: SECURITY.md

위 모든 정보는 리포지토리의 README에서 직접 인용되었으며, 외부 가정은 추가되지 않았습니다.