Yuliang-Liu/MonkeyOCRv2

解决的问题

MonkeyOCRv2 是一个专为 Document AI 设计的视觉-文本基础模型。它解决了在多种语言和格式（包括数字生成的 PDF、拍摄的文档、科学论文、医疗报告和图表）中准确解析和理解文本密集型文档的挑战。

工作原理

该项目提供了一个文档原生的视觉编码器，可作为各种任务的视觉骨干。它提供了针对不同需求的专用模型：

• MonkeyOCRv2-Parsing：一个多语言文档解析模型，可将文档转换为 Markdown 和 JSON 格式。
• MonkeyOCRv2-Und：一个文档理解模型，支持在文档上进行视觉问答（VQA）。
• 视觉编码器：独立的编码器（S、B 和 AS 版本），可集成到其他 OCR 系统中用于特征提取。

该模型基于 MonkeyDoc v2，这是一个包含 1.13 亿个跨 17 种语言的文档图像-文本对的大型多语言语料库。

适用人群

• AI 开发者：正在构建文档处理流水线或 RAG（检索增强生成）系统的人（例如，已支持 RAGFlow）。
• 研究人员：从事 OCR、文档理解及场景文本识别研究的人。
• 企业用户：需要大规模数字化复杂多语言文档的组织。

主要亮点

• 多语言支持：在 17 种语言中（包括拉丁文和非拉丁文脚本）具备强大的解析能力。
• DFlash 加速：支持 vLLM 服务并使用 DFlash，实现最高 2 倍的推理速度提升。
• 多功能任务支持：支持文本识别、检测、公式识别以及文档篡改检测。
• 大规模预训练：基于 MonkeyDoc v2，这是目前最大的文档图像预训练数据集之一。