Yuliang-Liu/MonkeyOCRv2

何を解決するか

MonkeyOCRv2 は Document AI を目的とした視覚テキスト基盤モデルです。複数の言語や形式（デジタル生成 PDF、写真撮影された文書、科学論文、医療レポート、チャートなど）におけるテキスト豊富な文書の正確な解析と理解という課題に対処します。

動作方法

このプロジェクトは、さまざまなタスクに視覚的なバックボーンとして使用できる文書ネイティブなビジョンエンコーダーを提供します。異なるニーズに応じた専用モデルを用意しています：

• MonkeyOCRv2-Parsing：複数言語対応の文書解析モデルで、文書を Markdown および JSON 形式に変換します。
• MonkeyOCRv2-Und：文書理解用モデルで、文書に対する視覚的質問応答（VQA）を可能にします。
• ビジョンエンコーダー：他の OCR システムに統合可能なスタンドアロンエンコーダー（S、B、AS バージョン）を提供します。

このモデルは、17 言語で 1.13 億件の文書画像-テキストペアを含む巨大な多言語コーパス「MonkeyDoc v2」に基づいています。

対象ユーザー

• AI開発者：文書処理パイプラインや RAG（Retrieval-Augmented Generation）システムを構築している人（例：すでに RAGFlow でサポートされています）。
• 研究者：OCR、文書理解、シーンテキスト認識に関する研究を行っている人。
• 企業ユーザー：大規模かつ複雑な多言語文書のデジタル化を必要とする組織。

主な特徴

• 多言語対応：ラテン語および非ラテン文字を含む 17 言語で堅牢な解析が可能。
• DFlash加速：vLLM サービングに対応し、DFlash を使用することで最大 2 倍の高速推論を実現。
• 多様なタスク対応：テキスト認識、検出、数式認識、文書改ざん検出が可能。
• 大規模事前学習：世界最大級の文書画像事前学習データセットの一つである MonkeyDoc v2 を基盤として構築。