Yuliang-Liu/MonkeyOCR

A lightweight LMM-based Document Parsing Model

解決する課題

MonkeyOCRは、ドキュメント解析の複雑さ、特にPDFや画像をMarkdownのような構造化された形式に変換する課題を解決するために設計されています。テキスト、数式、表を認識するための、より合理化された高性能なアプローチを提供することで、煩雑なマルチツール・パイプラインや、全ページ処理に大規模なマルチモーダルモデルを使用する非効率性を解消することを目指しています。

仕組み

このプロジェクトは、Structure-Recognition-Relation (SRR) 三組パラダイムを利用しています。このアプローチは、ドキュメントの構造の特定、構造内のコンテンツの認識、および異なるコンテンツブロック間の関係の決定という3つのコアコンポーネントに焦点を当てることで、解析プロセスを簡素化します。英語と中国語の両方のドキュメントをサポートしており、速度と精度のバランスをとるために異なるモデルサイズ（例：1.2Bおよび3Bパラメータ）を提供しています。

対象者

このツールは、複雑なドキュメント（PDFまたは画像）を構造化された機械読み取り可能なテキストに変換する必要がある開発者や研究者、特に数式や表を含む多言語（英語および中国語）のドキュメントを扱う方を対象としています。

ハイライト

  • 高いパフォーマンス: OmniDocBenchベンチマークにおいて、いくつかのクローズソースおよび大規模なオープンソースVLM（GPT-4oやGemini 2.0-Flashなど）を凌駕しています。
  • 柔軟なデプロイ: 幅広いGPU（4060からH800まで）をサポートし、Dockerデプロイオプションを提供しています。
  • 包括的な出力: 処理されたMarkdownファイル、レイアウトPDF、およびブロックの座標と関係を含む詳細な中間JSON結果を生成します。
  • 効率的なスケーリング: 1.2Bモデルは、パフォーマンスの低下を最小限に抑えつつ、3Bバージョンと比較して大幅な速度向上（約36%）を実現しています。

関連

  • プロジェクト
    Yuliang-Liu/MonkeyOCRv2

    MonkeyOCRv2 は、Document AI 向けのオープンソース視覚テキスト基盤モデルです。ViT ベースのビジョンエンコーダーと多言語解析・理解ヘッド（約 0.6-1.8 B パラメータ）を搭載し、17 言語の OCR、レイアウト解析、VQA、数式認識において最先端のスコアを達成しています。モデルは Hugging Face/ModelScope で利用可能で、Transformers や vLLM で実行でき（CPU サポートと DFlash アクセラレーションはオプション）、大規模な MonkeyDoc v2 事前学習データセットが付属しています。

  • プロジェクト
    PaddlePaddle/PaddleOCR

    PaddleOCR は、画像や PDF を構造化された LLM 用の JSON または Markdown に変換するオープンソースの OCR および Document‑AI ツールキットです。多言語シーンテキストモデル (PP‑OCRv6)、表、数式、および古文書のための軽量 Vision‑Language 解析器 (PaddleOCR‑VL‑1.6)、および構造化パイプライン (PP‑StructureV3) を提供します。モデルは CPU, GPU, XPU, NPU または ONNX/TensorRT 経由で動作し、Dify や RAGFlow といった RAG/エージェントプラットフォームと連携可能です。

  • プロジェクト
    magicrew/doc7

    マルチモーダルビジョンモデルを使用してPDF、Officeファイル、画像をAI対応のMarkdownに変換するドキュメント変換ツール。プライバシー保護とコスト効率を実現するローカル推論をサポート。

  • プロジェクト
    docling-project/docling

    複雑なPDF、Officeファイル、マルチモーダルコンテンツを、生成AIやRAGパイプラインで使用可能な構造化MarkdownまたはJSONに変換する文書解析ツール。

  • プロジェクト
    datalab-to/marker

    PDFやその他のファイルを、テーブルや数式に特化した構造化されたMarkdown、JSON、またはHTMLに変換する高精度なドキュメント変換ツール。