run-llama/ParseBench

ParseBench – AI 에이전트가 사용하는 문서 파싱 도구를 위한 벤치마크

무엇인가요

• 원시 페이지를 하류 AI 에이전트가 신뢰할 수 있는 구조화된 데이터로 변환하는 데 있어 PDF 파싱 시스템의 성능을 측정하는 오픈소스 벤치마크(Apache-2.0).
• 프로덕션 워크플로우에서 중요한 다섯 가지 능력 차원에 초점을 맞춥니다: 테이블, 차트, 콘텐츠 충실도, 의미적 포맷, 시각적 기준.
• HuggingFace에 호스팅된 약 2,000개의 기업 페이지(보험, 금융, 정부)로 구성된 검증된 데이터셋을 제공합니다.

왜 중요한가요

• 에이전트는 종종 테이블을 읽거나 차트 데이터를 추출하거나 시각적 신호(예: 취소선 가격)를 따라야 합니다. 외형상 올바르지만 구조를 잃거나 콘텐츠를 환상적으로 생성하는 파서는 하류 결정을 실패시킬 수 있습니다.
• 벤치마크는 결정론적이고 규칙 기반의 메트릭(기본적으로 LLM을 평가자로 사용하지 않음)을 제공하여, 상용 API, 오픈웨이트 모델, 커스텀 파이프라인 간에 점수가 재현 가능하고 비교 가능합니다.

주요 구성 요소

구성 요소	기능
데이터셋	HuggingFace의 llamaindex/ParseBench; 5개의 JSONL 파일로 분할되며, 각 파일에는 정답 형식과 평가 규칙이 포함되어 있습니다.
파이프라인	LlamaParse, OpenAI, Anthropic, Google Gemini, Azure Document Intelligence, AWS Textract 등 특정 파싱 서비스를 감싸는 180개 이상의 사전 정의된 구성. 새로운 파이프라인은 간단한 Claude 코드 통합 명령어로 추가 가능.
CLI	parse-bench (pip install "parse-bench[runners]" 또는 소스에서 설치). run, download, status, pipelines, compare, leaderboard, serve 등의 명령어 제공.
메트릭	• 테이블 – GTRM (GriTS + TableRecordMatch) • 차트 – ChartDataPointMatch • 콘텐츠 충실도 – Content Faithfulness Score • 의미적 포맷 – Semantic Formatting Score • 시각적 기준 – Element Pass Rate.
보고서	각 차원별 HTML 대시보드, CSV/JSON/Markdown 요약, 집계된 랭킹을 생성합니다.

일반적인 워크플로우

1. 설치 – pip install "parse-bench[runners]" (또는 uv sync --extra runners).
2. 설정 – 필요한 API 키를 .env 파일에 입력 (예: LLAMA_CLOUD_API_KEY, OPENAI_API_KEY).
3. 데이터 다운로드 – uv run parse-bench download (또는 --test로 카테고리당 3개 파일의 소규모 서브셋을 다운로드).
4. 파이프라인 실행 – uv run parse-bench run llamaparse_agentic (--test를 추가하면 빠른 검증 가능).
5. 결과 확인 – uv run parse-bench serve llamaparse_agentic로 인터랙티브 브라우저 리포트가 열림.
6. 비교 – uv run parse-bench compare <pipeline_a> <pipeline_b>로 양측 대비 HTML 생성.

확장성

• 새로운 제공자/파이프라인은 단일 Claude 코드 명령어(/integrate-pipeline <name> <API docs>)로 등록 가능하며, 제공자 클래스를 스텁화하고 문서를 자동 업데이트합니다.
• 선택적 fast 추가 기능으로 JIT 가속 TEDS 테이블 메트릭 활성화 (동일한 점수, 대규모 테이블에서 더 빠름).

랭킹 (요약)

순위	제공자	전체	테이블	차트	콘텐츠 충실도	의미적 포맷	시각적 기준	페이지당 비용
1	LlamaParse Agentic Plus	90.20	93.37	94.18	92.25	87.12	84.09	5.62¢
2	LlamaParse Agentic	87.01	88.88	88.68	91.78	81.44	84.25	1.25¢
…	…	…	…	…	…	…	…	…
(전체 정렬 가능한 랭킹은 https://parsebench.ai 에서 확인 가능.)

인용

@misc{zhang2026parsebench,
  title={ParseBench: A Document Parsing Benchmark for AI Agents},
  author={Boyang Zhang and Sebastián G. Acosta and Preston Carlson and Sacha Bron and Pierre‑Loïc Doulcet and Daniel B. Ospina and Simon Suo},
  year={2026},
  eprint={2604.08538},
  archivePrefix={arXiv},
  primaryClass={cs.CV},
  url={https://arxiv.org/abs/2604.08538}
}

링크

• 웹사이트: https://parsebench.ai
• 논문: https://arxiv.org/abs/2604.08538
• 데이터셋: https://huggingface.co/datasets/llamaindex/ParseBench
• 코드: https://github.com/run-llama/ParseBench
• 동반 벤치마크 (스키마 기반 추출): https://github.com/run-llama/ExtractBench