run-llama/ParseBench

ParseBench – AIエージェントが使用するドキュメント解析ツールのベンチマーク

何であるか

• ドキュメント解析システムが生のページを、下流のAIエージェントが信頼できる構造化データに変換する能力を測定するオープンソースのベンチマーク（Apache-2.0）。
• プロダクションワークフローにおいて重要な5つの能力次元に焦点を当てる：テーブル、チャート、コンテンツ忠実性、意味的フォーマット、視覚的接地性。
• HuggingFaceにホストされた、約2,000ページの企業ドキュメント（保険、金融、政府）からなる、人間が検証済みのデータセットを備える。

なぜ重要か

• エージェントはしばしばテーブルを読み取り、チャートデータを抽出、または視覚的ヒント（例：取り消し線付き価格）に従う必要がある。見た目は正しいが構造を失ったり、コンテンツを架空に生成するパーサーは、下流の意思決定を破綻させる可能性がある。
• ベンチマークは確定的でルールベースのメトリクス（デフォルトではLLMによる評価なし）を提供するため、商用API、オープンウェイトモデル、カスタムパイプライン間でスコアが再現可能かつ比較可能である。

主なコンポーネント

コンポーネント	機能
データセット	HuggingFace上の llamaindex/ParseBench；5つのJSONLファイルに分割され、各ファイルには正解形式と評価ルールが含まれる。
パイプライン	LlamaParse、OpenAI、Anthropic、Google Gemini、Azure Document Intelligence、AWS Textractなど、特定の解析サービスをラップした180以上の事前定義済み構成。新しいパイプラインは、簡単なClaudeコード統合コマンドで追加可能。
CLI	parse-bench（pip install "parse-bench[runners]" またはソースからインストール）。run、download、status、pipelines、compare、leaderboard、serve などのコマンドを提供。
メトリクス	• テーブル – GTRM（GriTS + TableRecordMatch） • チャート – ChartDataPointMatch • コンテンツ忠実性 – Content Faithfulness Score • 意味的フォーマット – Semantic Formatting Score • 視覚的接地性 – Element Pass Rate。
レポート	各次元ごとのHTMLダッシュボード、CSV/JSON/Markdown要約、集約されたランク付けを生成。

一般的なワークフロー

1. インストール – pip install "parse-bench[runners]"（または uv sync --extra runners）。
2. 設定 – 必要なAPIキーを .env ファイルに記入（例：LLAMA_CLOUD_API_KEY、OPENAI_API_KEY）。
3. データダウンロード – uv run parse-bench download（または --test でカテゴリごとに3ファイルずつの小さなサブセットを取得）。
4. パイプライン実行 – uv run parse-bench run llamaparse_agentic（--test を追加すると、素早い検証が可能）。
5. 結果の確認 – uv run parse-bench serve llamaparse_agentic でインタラクティブなブラウザレポートが開く。
6. 比較 – uv run parse-bench compare <pipeline_a> <pipeline_b> で左右対照のHTMLレポートを生成。

拡張性

• 新しいプロバイダー/パイプラインは、1つのClaudeコードコマンド（/integrate-pipeline <name> <API docs>）で登録可能。これにより、プロバイダークラスがスケルトン化され、ドキュメントも自動更新される。
• オプションの fast エクストラにより、JIT加速されたTEDSテーブルメトリクスが有効化（スコアは同一、大規模テーブルでは高速）。

ランク付け（抜粋）

順位	プロバイダー	全体	テーブル	チャート	コンテンツ忠実性	意味的フォーマット	視覚的接地性	1ページあたりコスト
1	LlamaParse Agentic Plus	90.20	93.37	94.18	92.25	87.12	84.09	5.62¢
2	LlamaParse Agentic	87.01	88.88	88.68	91.78	81.44	84.25	1.25¢
…	…	…	…	…	…	…	…	…
(完全な、並べ替え可能なランク付けは https://parsebench.ai にて。)

引用

@misc{zhang2026parsebench,
  title={ParseBench: A Document Parsing Benchmark for AI Agents},
  author={Boyang Zhang and Sebastián G. Acosta and Preston Carlson and Sacha Bron and Pierre‑Loïc Doulcet and Daniel B. Ospina and Simon Suo},
  year={2026},
  eprint={2604.08538},
  archivePrefix={arXiv},
  primaryClass={cs.CV},
  url={https://arxiv.org/abs/2604.08538}
}

リンク

• ウェブサイト: https://parsebench.ai
• ペーパー: https://arxiv.org/abs/2604.08538
• データセット: https://huggingface.co/datasets/llamaindex/ParseBench
• コード: https://github.com/run-llama/ParseBench
• コンパニオンベンチマーク（スキーマガイド付き抽出）: https://github.com/run-llama/ExtractBench