opendatalab/DocLayout-YOLO

解決する課題

ドキュメントには多くのスタイルやレイアウトが存在し、タイトル、テキストブロック、表、図などの要素がページ上のどこにあるかを理解することは、PDF抽出やドキュメントのデジタル化といったタスクにおいて不可欠です。既存のモデルは、多様性やサイズの大きく異なる要素の扱いに苦労することがよくあります。このプロジェクトは、そのための高速で堅牢な検出器を提供します。

仕組み

YOLO-v10オブジェクト検出フレームワークに基づいて構築されたこのモデルは、Mesh-candidate BestFitというパイプラインによって生成されたDocSynth-300Kと呼ばれる合成データセットで事前学習されています。このパイプラインは、テキストや画像などの要素を空のページ背景に配置することでリアルなドキュメントページを構成し、このタスクを2Dパッキング問題として扱います。また、モデルはグローバルな構造とローカルな詳細の両方を認識するように設計された特別なモジュールを使用しており、ページ全体にわたる表から小さなキャプションまで、さまざまな要素を正確に検出するのに役立ちます。シンプルなPython SDKやデモスクリプトを使用して予測を実行でき、一般的なベンチマークデータセットで微調整されたチェックポイントも含まれています。

対象ユーザー

ドキュメント処理パイプラインを構築する開発者、レイアウト分析を研究する研究者、またはスキャンされたドキュメントやデジタルネイティブなドキュメントのコンポーネントを自動的に特定する必要があるすべての方。また、PDF-Extract-KitやMinerUといった大規模なオープンソースプロジェクトのコンテンツ抽出機能内でも使用されています。

ハイライト

• Hugging Face Spacesでのオンラインデモによる迅速な実験。
• 推論用の事前学習済みモデルに加え、D4LAおよびDocLayNetベンチマーク用のチェックポイントを提供。
• 大規模で多様なトレーニングセットを作成できる合成データ生成パイプライン (Mesh-candidate BestFit)。
• PDF-Extract-KitおよびMinerUとの統合によるエンドツーエンドのドキュメント解析。
• pipによる簡単なインストールと、スクリプトベースおよびSDKベースの両方の予測に対応。