Yuliang-Liu/MonkeyOCRv2

MonkeyOCRv2 – Document AI 向け視覚テキスト基盤モデル

概要 – MonkeyOCRv2 は、オープンソースのドキュメント指向ビジョンエンコーダーと、OCR スタイルのタスク（テキスト検出、認識、解析、理解、数式認識など）用の一連の下流モデルです。Hugging Face/ModelScope モデル動物園としてリリースされており、任意の PyTorch/Transformers パイプラインに組み込むことができます。

主要コンポーネント

コンポーネント	目的	典型的なサイズ
ビジョンエンコーダー (MonkeyOCRv2‑S /‑B /‑AS)	ドキュメント画像から画像特徴を抽出します。ViT‑S、ViT‑B、または ViTAE‑v2‑S バックボーンに基づいて構築されています。	28 M – 113 M パラメータ
解析モデル (‑S‑Parsing /‑B‑Parsing)	多言語レイアウト認識ドキュメント解析（表、見出しなど）。	~0.6‑0.7 B パラメータ
理解モデル (‑S‑Und /‑B‑Und)	エンドツーエンドのドキュメント質問応答（DocVQA、InfoVQA、ChartQA など）。	~1.7‑1.8 B パラメータ

すべてのモデルは 17 言語（ラテン文字および非ラテン文字）をサポートしており、MDPBench、DocVQA、OCRBench、Union14M などでベンチマークされています。

開始方法

1. conda 環境を作成（Python 3.11）し、必要なライブラリをインストール – PyTorch 2.8、transformers、accelerate、flash‑attn、vllm（高速推論用）、および modelscope（オプション）。
2. 重みのダウンロード – 提供された download_model.py スクリプトを使用し、モデル名（例：MonkeyOCRv2-B）を選択します。
3. ビジョンエンコーダー – vision/extract_feature.py（または AS バリアントの場合は extract_feature_vitae.py）を実行して画像埋め込みを取得します。
4. ドキュメント解析 – vLLM サーバー（parsing/serve.py）を起動し、parsing/parse.py（CLI）を呼び出すか、提供されている Gradio/FastAPI デモを使用して PDF や画像を送信し、Markdown レイアウトを受け取ります。
5. ドキュメント理解 – 同様に understanding/serve.py を起動し、自然言語の質問を指定して understanding/infer.py を実行します。

特記事項

• CPU サポート – 2026‑08‑22 現在、解析サービスは CPU で実行できます（docs/cpu_support.md を参照）。
• DFlash アクセラレーション – vLLM 0.25.1 + CUDA 12.9+ により、B‑Parsing モデルの推論が最大 2 倍高速化されます。
• MonkeyDoc v2 データセット – ドキュメントモデルの事前学習用にリリースされた 113 M の画像テキストペアコーパス（ダウンロード後約 10 TB）。

モデルの入手先

• Hugging Face コレクション: zenosai/MonkeyOCRv2‑*
• ModelScope の同等品: zenosai/MonkeyOCRv2‑*
• デモ UI: http://vlrlabmonkey.xyz:8891/

典型的なユースケース例 (Python)

from transformers import AutoModel

# Load the vision backbone
encoder = AutoModel.from_pretrained(
    "zenosai/MonkeyOCRv2-B",
    trust_remote_code=True,
    dtype="auto",
    device_map="auto",
)

重要性 – 単一のドキュメントネイティブなビジョンエンコーダーと高性能な多言語解析/理解ヘッドを提供することで、MonkeyOCRv2 は、研究者や開発者が、検出、認識、レイアウトの各モデルを別々に組み合わせることなく、スキャンした PDF、写真、科学論文、歴史的文書、さらにはリモートセンシングレポートでもそのまま機能する OCR パイプラインを構築できるようにします。