opendatalab/MinerU

Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.

解决的问题

MinerU 是一个全面的文档解析工具,旨在将复杂的文档(包括 PDF、扫描图像和各种 Office 格式)转换为干净、结构化且机器可读的内容。它解决了从不同文件格式中提取文本时丢失结构信息(如表格、公式和布局)的问题,非常适合需要高保真文档理解的 AI 代理和 RAG 流水线。

工作原理

MinerU 采用多层级解析方法,在速度和质量之间取得平衡:

  • 四个解析层级:提供 Flash(快速预览/索引)、Basic(OCR 和模型驱动)、Standard/Advanced(高质量布局分析)。
  • 广泛的格式支持:支持 PDF、图像、DOC/DOCX、PPT/PPTX、XLS/XLSX、RTF、ODT/ODS/ODP、EPUB、OFD、HTML/MHTML,以及 CSV/TSV。
  • 灵活的运行时:支持多种推理引擎,包括 ONNX 和 Torch 用于小型模型,以及 llama.cpp、vLLM 或 LMDeploy 用于视觉语言模型(VLM)。
  • 文档库:管理本地库,缓存解析结果,支持内容搜索,并提供稳定的定位器以引用特定页面或区块。

适用人群

  • AI 代理开发者:需要一种可靠方式让代理读取、引用和导航长文档,而不会过度占用上下文窗口。
  • 数据工程师:需要将大量异构文档批量转换为 Markdown、LaTeX 或 HTML 以用于训练或分析。
  • RAG 流水线构建者:需要精确的文档解析以确保检索到的上下文质量。

主要亮点

  • 高保真提取:专精于处理表格、公式和复杂页面布局。
  • 面向代理的设计:提供稳定的定位器(doc:id/tier/page/block),支持精确引用和渐进式阅读。
  • 多目标渲染:可将结果导出为 Markdown、HTML、LaTeX、DOCX、EPUB、PDF 和结构化内容。
  • 本地优先:默认本地运行,确保隐私和数据安全。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目