opendatalab/OmniDocBench

[CVPR 2025] A Comprehensive Benchmark for Document Parsing and Evaluation

何を解決するか

OmniDocBenchは、現実世界のシナリオにおけるドキュメント解析モデルの評価に向けた包括的で高品質なベンチマークの必要性に対応しています。学術論文、財務報告書、手書きメモなど多様なドキュメントタイプや、ネストされたテーブルや数学式といった複雑な要素を、さまざまな言語とレイアウトで扱えるAIモデルの性能を標準化された方法で測定できます。

仕組み

本プロジェクトは、豊富な多段階のアノテーションを持つ1,651ページのPDFデータセットを提供します。モデルの評価は以下の次元で行われます：

レイアウト検出：ブロックレベルの要素（見出し、テーブル、図）とスパンレベルの要素（テキスト行、インライン式）を識別。
認識：テキストOCR、数式認識（LaTeXを使用）、テーブル認識（LaTeXおよびHTMLを使用）の精度を評価。
読み取り順序：モデルがドキュメントコンポーネントの正しい順序を正しく識別しているかを検証。
メトリクス：正規化編集距離、BLEU、METEOR、TEDS、COCODet（mAP、mAR）など、さまざまなメトリクスを採用。

対象ユーザー

ドキュメント解析システム、OCRエンジン、マルチモーダルLLMの開発を行う研究者や開発者向けです。複雑なPDFから構造化情報を抽出する必要がある方々に最適です。

特徴

多様なカバレッジ：10種類のドキュメントタイプ、5種類のレイアウトタイプ、5種類の言語タイプを含む。
詳細なアノテーション：28種類のブロックレベル、4種類のスパンレベルのアノテーションを備え、ページおよびブロックの特性を示す特定の属性タグも含まれる。
高品質：手動スクリーニング、インテリジェントなアノテーション、専門家の品質チェックを通じてデータをキュレート。
柔軟な評価：提供されたコードとDockerベースの実行環境により、エンドツーエンド評価および単一モジュール評価をサポート。

関連

プロジェクト
run-llama/ParseBench
ParseBench は、企業向け2,000ページのデータセットを用いて、テーブル、チャート、コンテンツ忠実性、意味的フォーマット、視覚的接地性の5つの次元でPDF解析ツールを評価する Apache-2.0 ベンチマークです。CLI、180以上の準備済みパイプライン（LlamaParse、OpenAI、Anthropic、Google、Azureなど）、確定的ルールベースのメトリクスを備え、インタラクティブなHTMLレポートとランク付けを生成します。
プロジェクト
Yuliang-Liu/MultimodalOCR
大規模マルチモーダルモデルのOCRおよび多言語文書解析能力を実世界シナリオで評価するためのベンチマークコレクション（MDPBench、OCRBench、OCRBench v2）。
Dispatch
Hugging Face が文書AIを加速
Hugging Face は、オープンソースのマルチモーダルモデルを活用して、エンタープライズワークフローにおける文書分類、パーシング、ビジュアル質問応答を自動化するための包括的なガイドを提供しています。
プロジェクト
PaddlePaddle/PaddleOCR
PaddleOCRは、画像やPDFを構造化されたLLM対応テキスト、表、Markdown/JSONに変換するオープンソースのOCRおよびドキュメントAIツールキットです。PP-OCRv6による多言語シーンテキスト認識モデルと、PaddleOCR-VL / PP-StructureV3による軽量な視覚言語モデルを提供し、最先端の精度、高速なCPU/GPU推論、DockerからブラウザSDKまで幅広いデプロイオプションを備えています。DifyやRAGFlowなどのRAGプラットフォームと統合されており、AIエージェントや検索拡張生成パイプラインのデータエンジンとして活用されます。
プロジェクト
docling-project/docling-parse
Docling Parse は高速で構成可能なPDF解析ライブラリ（Python API と C++ コア）で、テキスト、単語、行、ベクターシェイプ、ビットマップ画像とその座標を抽出します。シーケンシャルおよびマルチスレッド解析をサポートし、ページごとに計算・マテリアライズする内容を選択可能。レンダリングユーティリティも備え、レイアウトに配慮したドキュメントデータをAIワークフローに最適化しています。