run-llama/ParseBench

ParseBench – 用于 AI 代理的文档解析工具基准测试

是什么

• 一个开源基准测试（Apache-2.0），用于衡量 PDF 解析系统将原始页面转化为下游 AI 代理可依赖的结构化数据的能力。
• 重点关注生产工作流中至关重要的 五个 能力维度：表格、图表、内容忠实度、语义格式、视觉定位。
• 配备一个精心筛选、人工验证的约 2,000 页企业文档数据集（保险、金融、政府），托管于 HuggingFace。

为何重要

• 代理通常需要读取表格、提取图表数据或遵循视觉线索（例如删除线价格）。一个看似正确但丢失结构或虚构内容的解析器可能会破坏下游决策。
• 该基准测试提供确定性、基于规则的度量标准（默认不使用 LLM 作为裁判），因此得分可复现，并可在商业 API、开源权重模型和自定义管道之间进行比较。

核心组件

组件	功能
数据集	HuggingFace 上的 llamaindex/ParseBench；分为五个 JSONL 文件，每个文件包含真实值格式和一组评估规则。
管道	180+ 预定义配置，封装了特定解析服务（LlamaParse、OpenAI、Anthropic、Google Gemini、Azure Document Intelligence、AWS Textract 等）。可通过简单的 Claude 代码集成命令添加新管道。
CLI	parse-bench（通过 pip install "parse-bench[runners]" 或源码安装）。支持 run、download、status、pipelines、compare、leaderboard 和 serve 等命令。
度量标准	• 表格 – GTRM（GriTS + TableRecordMatch） • 图表 – ChartDataPointMatch • 内容忠实度 – Content Faithfulness Score • 语义格式 – Semantic Formatting Score • 视觉定位 – Element Pass Rate。
报告	生成各维度的 HTML 仪表板、CSV/JSON/Markdown 摘要以及汇总排行榜。

典型工作流程

1. 安装 – pip install "parse-bench[runners]"（或 uv sync --extra runners）。
2. 配置 – 将所需 API 密钥放入 .env 文件中（例如 LLAMA_CLOUD_API_KEY、OPENAI_API_KEY）。
3. 下载数据 – uv run parse-bench download（或 --test 用于下载每个类别仅 3 个文件的小型子集）。
4. 运行管道 – uv run parse-bench run llamaparse_agentic（添加 --test 可快速进行验证）。
5. 查看结果 – uv run parse-bench serve llamaparse_agentic 打开交互式浏览器报告。
6. 比较 – uv run parse-bench compare <pipeline_a> <pipeline_b> 生成并排的 HTML 报告。

可扩展性

• 新的提供者/管道可通过单个 Claude 代码命令（/integrate-pipeline <name> <API docs>）注册，该命令会生成提供者类并更新文档。
• 可选的 fast 额外功能可启用 JIT 加速的 TEDS 表格度量（分数相同，但大表格处理更快）。

排行榜（摘录）

排名	提供者	总体	表格	图表	内容忠实度	语义格式	视觉定位	每页成本
1	LlamaParse Agentic Plus	90.20	93.37	94.18	92.25	87.12	84.09	5.62¢
2	LlamaParse Agentic	87.01	88.88	88.68	91.78	81.44	84.25	1.25¢
…	…	…	…	…	…	…	…	…
(完整可排序排行榜请访问 https://parsebench.ai。)

引用

@misc{zhang2026parsebench,
  title={ParseBench: A Document Parsing Benchmark for AI Agents},
  author={Boyang Zhang and Sebastián G. Acosta and Preston Carlson and Sacha Bron and Pierre‑Loïc Doulcet and Daniel B. Ospina and Simon Suo},
  year={2026},
  eprint={2604.08538},
  archivePrefix={arXiv},
  primaryClass={cs.CV},
  url={https://arxiv.org/abs/2604.08538}
}

链接

• 网站：https://parsebench.ai
• 论文：https://arxiv.org/abs/2604.08538
• 数据集：https://huggingface.co/datasets/llamaindex/ParseBench
• 代码：https://github.com/run-llama/ParseBench
• 配套基准测试（基于模式的提取）：https://github.com/run-llama/ExtractBench