Yuliang-Liu/MonkeyOCR

A lightweight LMM-based Document Parsing Model

解決的問題

MonkeyOCR 旨在解決文件解析的複雜性，特別是將 PDF 和圖像轉換為 Markdown 等結構化格式的挑戰。它旨在透過提供一種更精簡、高效能的方法來識別文本、公式和表格，從而取代繁瑣的多工具流水線以及使用大規模多模態模型進行全頁處理的低效方式。

工作原理

該專案採用了 Structure-Recognition-Relation (SRR) 三元組範式。這種方法透過專注於三個核心組件來簡化解析過程：識別文件結構、識別結構內的內容，以及確定不同內容區塊之間的關係。它支援中英文文件，並提供不同的模型規模（例如 1.2B 和 3B 參數）以平衡速度與準確性。

適用對象

該工具面向需要將複雜文件（PDF 或圖像）轉換為結構化、機器可讀文本的開發人員與研究人員，特別是那些處理包含數學公式與表格的多語言（英文與中文）文件的使用者。

亮點

  • 高效能：在 OmniDocBench 基準測試中優於多種閉源與大型開源 VLM（如 GPT-4o 與 Gemini 2.0-Flash）。
  • 靈活部署：支援廣泛的 GPU（從 4060 到 H800）並提供 Docker 部署選項。
  • 全面的輸出：生成處理後的 Markdown 檔案、版面 PDF 以及包含區塊座標與關係的詳細中間 JSON 結果。
  • 高效擴展：1.2B 模型在效能損失極小的情況下，比 3B 版本提供了顯著的速度提升（約 36%）。

相關

  • 專案
    Yuliang-Liu/MonkeyOCRv2

    MonkeyOCRv2 是一個用於 Document AI 的開源視覺文字基礎模型。它搭載了基於 ViT 的視覺編碼器，以及多語言解析與理解頭（約 0.6-1.8 B 參數），在 17 種語言的 OCR、版面解析、VQA 和公式識別上達到了最先進的分數。模型可在 Hugging Face/ModelScope 上取得，可使用 Transformers 或 vLLM 執行（可選 CPU 支援與 DFlash 加速），並附帶了大型 MonkeyDoc v2 預訓練資料集。

  • 專案
    PaddlePaddle/PaddleOCR

    PaddleOCR 是一個開源 OCR 與文件 AI 工具包，可將圖像/PDF 轉換為結構化、對 LLM 準備就緒的 JSON 或 Markdown。它提供多語言場景文本模型 (PP‑OCRv6)、用於處理表格、公式與古籍文字的輕量化視覺語言解析器 (PaddleOCR‑VL‑1.6)，以及結構感知型的 Pipeline (PP‑StructureV3)。模型可運行在 CPU, GPU, XPU, NPU 或透過 ONNX/TensorRT 運行，並與 Dify 和 RAGFlow 等 RAG/代理平台整合。

  • 專案
    magicrew/doc7

    一款使用多模態視覺模型將 PDF、Office 檔案和影像轉換為 AI 友好 Markdown 的文件轉換工具，支援本地推理以保障隱私與成本效益。

  • 專案
    docling-project/docling

    一個文件解析工具，可將複雜的 PDF、Office 檔案與多模態內容轉換為結構化 Markdown 或 JSON，用於生成式 AI 與 RAG 流水線。

  • 專案
    datalab-to/marker

    一款高精度文件轉換工具，可將 PDF 及其他檔案轉換為結構化的 Markdown、JSON 或 HTML，並專精於表格與公式。