opendatalab/MinerU
Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.
解决的问题
MinerU 是一个全面的文档解析工具,旨在将复杂的文档(包括 PDF、扫描图像和各种 Office 格式)转换为干净、结构化且机器可读的内容。它解决了从不同文件格式中提取文本时丢失结构信息(如表格、公式和布局)的问题,非常适合需要高保真文档理解的 AI 代理和 RAG 流水线。
工作原理
MinerU 采用多层级解析方法,在速度和质量之间取得平衡:
- 四个解析层级:提供
Flash(快速预览/索引)、Basic(OCR 和模型驱动)、Standard/Advanced(高质量布局分析)。 - 广泛的格式支持:支持 PDF、图像、DOC/DOCX、PPT/PPTX、XLS/XLSX、RTF、ODT/ODS/ODP、EPUB、OFD、HTML/MHTML,以及 CSV/TSV。
- 灵活的运行时:支持多种推理引擎,包括 ONNX 和 Torch 用于小型模型,以及 llama.cpp、vLLM 或 LMDeploy 用于视觉语言模型(VLM)。
- 文档库:管理本地库,缓存解析结果,支持内容搜索,并提供稳定的定位器以引用特定页面或区块。
适用人群
- AI 代理开发者:需要一种可靠方式让代理读取、引用和导航长文档,而不会过度占用上下文窗口。
- 数据工程师:需要将大量异构文档批量转换为 Markdown、LaTeX 或 HTML 以用于训练或分析。
- RAG 流水线构建者:需要精确的文档解析以确保检索到的上下文质量。
主要亮点
- 高保真提取:专精于处理表格、公式和复杂页面布局。
- 面向代理的设计:提供稳定的定位器(
doc:id/tier/page/block),支持精确引用和渐进式阅读。 - 多目标渲染:可将结果导出为 Markdown、HTML、LaTeX、DOCX、EPUB、PDF 和结构化内容。
- 本地优先:默认本地运行,确保隐私和数据安全。
相关
- 项目
- 项目
- 项目
- 项目
- 项目