opendatalab/OmniDocBench

[CVPR 2025] A Comprehensive Benchmark for Document Parsing and Evaluation

解决的问题

OmniDocBench 解决了在真实场景中评估文档解析模型对全面且高质量基准的需求。它提供了一种标准化的方法，用于衡量 AI 模型在处理多种文档类型（如学术论文、财务报告和手写笔记）以及复杂元素（如嵌套表格和数学公式）方面的能力，适用于不同语言和布局。

如何工作

该项目提供了一个包含 1,651 个 PDF 页面的数据集，具有丰富的多层级标注。它从多个维度评估模型：

  • 布局检测：识别块级元素（标题、表格、图表）和跨度级元素（文本行、内联公式）。
  • 识别：评估文本 OCR、公式识别（使用 LaTeX）和表格识别（使用 LaTeX 和 HTML）的准确性。
  • 阅读顺序：验证模型是否正确识别了文档组件的顺序。
  • 指标：采用多种指标，包括归一化编辑距离、BLEU、METEOR、TEDS 和 COCODet（mAP、mAR）。

适用对象

专为需要从复杂 PDF 中提取结构化信息的文档解析系统、OCR 引擎和多模态大语言模型的研究人员和开发者设计。

亮点

  • 多样化覆盖：涵盖 10 种文档类型、5 种布局类型和 5 种语言类型。
  • 深度标注：包含 28 种块级标注和 4 种跨度级标注，包括页面和块特征的特定属性标签。
  • 高质量：数据通过人工筛选、智能标注和专家质量检查进行精心整理。
  • 灵活评估：支持端到端和单模块评估，提供代码和基于 Docker 的运行环境。

相关

  • 项目
    run-llama/ParseBench

    ParseBench 是一个 Apache-2.0 开源基准测试，使用 2,000 页企业级数据集，在表格、图表、内容忠实度、语义格式和视觉定位五个维度上评估 PDF 解析工具。它提供 CLI、180 多个预设管道（LlamaParse、OpenAI、Anthropic、Google、Azure 等）、确定性规则度量，并生成交互式 HTML 报告和排行榜。

  • 项目
    Yuliang-Liu/MultimodalOCR

    一个基准测试集合（MDPBench、OCRBench 和 OCRBench v2），用于评估大型多模态模型在真实场景中的 OCR 和多语言文档解析能力。

  • Dispatch
    Hugging Face 加速文档 AI

    Hugging Face 提供了一份全面指南，帮助企业使用开源多模态模型实现文档分类、解析和视觉问答的自动化。

  • 项目
    PaddlePaddle/PaddleOCR

    PaddleOCR 是一个开源 OCR 和文档 AI 工具包，可将图像或 PDF 转换为结构化、LLM 就绪的文本、表格和 Markdown/JSON。它提供多语言场景文本模型（PP-OCRv6）和轻量级视觉-语言模型（PaddleOCR-VL、PP-StructureV3），具备业界领先精度、快速 CPU/GPU 推理能力，并支持从 Docker 到浏览器 SDK 的多种部署方式。与 Dify、RAGFlow 等 RAG 平台集成，可作为构建 AI 代理和检索增强生成流水线的数据引擎。

  • 项目
    docling-project/docling-parse

    Docling Parse 是一个快速、可配置的 PDF 解析库（Python API 配 C++ 核心），可提取文本、单词、行、矢量形状和位图图像及其坐标。支持顺序和多线程解析，允许按页面选择计算或实例化内容，并包含渲染工具。非常适合需要布局感知文档数据的 AI 工作流。