pymupdf/pymupdf4llm

解决的问题

PyMuPDF4LLM 将复杂文档（PDF、EPUB 等）转换为干净、结构化的数据格式，如 Markdown、JSON 和纯文本。它专门针对 RAG 流水线中的“脏数据”问题，能够处理多栏布局、表格以及扫描页，这些通常会导致标准文本提取工具失效，且无需 GPU 或云 API 支持。

工作原理

基于 MuPDF C 引擎构建，该库通过分析文档布局来重建文本的自然阅读顺序。它采用混合 OCR 策略，仅在实际无法识别或为图像的区域触发光学字符识别，相比全文档 OCR 可将处理时间减少约 50%。它可输出 GitHub 兼容的 Markdown（包括 GFM 管道表）、包含边界框元数据的结构化 JSON，或直接用于向量存储的逐页分块数据。

适用人群

构建 RAG（检索增强生成）应用的开发者、准备 LLM 训练或嵌入数据集的数据工程师，以及任何希望实现高保真文档解析但又不想承担视觉型 LLM 提取成本的用户。

主要亮点

• 多格式输出：支持 Markdown、JSON 和纯文本。
• 布局感知提取：可处理多栏页面并重建阅读顺序。
• 混合 OCR：仅对图像覆盖或损坏的文本区域应用 OCR。
• RAG 就绪分块：提供带完整元数据的页面级分块，可直接输入向量存储。
• 框架集成：支持 LlamaIndex 和 LangChain 的即插即用集成。
• 高效性：相比视觉型 LLM 方法，成本低 10–250 倍，且显著更快。