Yuliang-Liu/MonkeyOCR

A lightweight LMM-based Document Parsing Model

解决的问题

MonkeyOCR 旨在解决文档解析的复杂性，特别是将 PDF 和图像转换为 Markdown 等结构化格式的挑战。它旨在通过提供一种更精简、高性能的方法来识别文本、公式和表格，从而取代繁琐的多工具流水线以及使用大规模多模态模型进行全页处理的低效方式。

工作原理

该项目采用了 Structure-Recognition-Relation (SRR) 三元组范式。这种方法通过专注于三个核心组件来简化解析过程：识别文档结构、识别结构内的内容，以及确定不同内容块之间的关系。它支持中英文文档，并提供不同的模型规模（例如 1.2B 和 3B 参数）以平衡速度和准确性。

适用对象

该工具面向需要将复杂文档（PDF 或图像）转换为结构化、机器可读文本的开发人员和研究人员，特别是那些处理包含数学公式和表格的多语言（英语和中文）文档的用户。

亮点

  • 高性能：在 OmniDocBench 基准测试中优于多种闭源和大型开源 VLM（如 GPT-4o 和 Gemini 2.0-Flash）。
  • 灵活部署：支持广泛的 GPU（从 4060 到 H800）并提供 Docker 部署选项。
  • 全面的输出：生成处理后的 Markdown 文件、布局 PDF 以及包含块坐标和关系的详细中间 JSON 结果。
  • 高效扩展：1.2B 模型在性能损失极小的情况下，比 3B 版本提供了显著的速度提升（约 36%）。

相关

  • 项目
    Yuliang-Liu/MonkeyOCRv2

    MonkeyOCRv2 是一个用于 Document AI 的开源视觉文字基础模型。它搭载了基于 ViT 的视觉编码器，以及多语言解析与理解头（约 0.6-1.8 B 参数），在 17 种语言的 OCR、版面解析、VQA 和公式识别上达到了最先进的分数。模型可在 Hugging Face/ModelScope 上获取，可使用 Transformers 或 vLLM 运行（可选 CPU 支持与 DFlash 加速），并附带了大型 MonkeyDoc v2 预训练数据集。

  • 项目
    PaddlePaddle/PaddleOCR

    PaddleOCR 是一个开源 OCR 和文档 AI 工具包，可将图像/PDF 转换为结构化、对 LLM 就绪的 JSON 或 Markdown。它提供多语言场景文本模型 (PP-OCRv6)、用于处理表格、公式和古籍的轻量级视觉语言解析器 (PaddleOCR-VL-1.6)，以及结构感知流水线 (PP-StructureV3)。模型可运行在 CPU, GPU, XPU, NPU 或通过 ONNX/TensorRT 运行，并与 Dify 和 RAGFlow 等 RAG/智能体平台集成。

  • 项目
    magicrew/doc7

    一款使用多模态视觉模型将 PDF、Office 文件和图像转换为 AI 友好 Markdown 的文档转换工具，支持本地推理以保障隐私和成本效益。

  • 项目
    docling-project/docling

    一个文档解析工具，可将复杂的 PDF、Office 文件和多模态内容转换为结构化 Markdown 或 JSON，用于生成式 AI 和 RAG 流水线。

  • 项目
    datalab-to/marker

    一款高精度文档转换工具，可将 PDF 及其他文件转换为结构化的 Markdown、JSON 或 HTML，并专注于表格和公式。