opendataloader-pdf: AI対応のデータ抽出と自動PDFアクセシビリティ・タギングのための高精度PDFパーサー

何を解決するか

OpenDataLoader PDFは、AIやLLMパイプライン（RAGなど）向けにPDFを構造化データに変換すると同時に、手動によるアクセシビリティ修正の高コストを削減するため、スクリーンリーダー対応のアクセシブルなTagged PDFの作成を自動化するように設計された高精度PDFパーサーです。

仕組み

このツールは、主に2つの処理モードを提供します：

• Deterministic Local Mode: 標準的なデジタルPDFに対して高速なJavaベースの処理を行い、テキスト、見出し、および単純な表を高速に抽出します。
• Hybrid AI Mode: 複雑なページ（境界線のない表、LaTeX数式、またはスキャンされた画像を含む）をAIバックエンドにルーティングして、より高い精度を実現します。このモードには80以上の言語に対応した組み込みOCRが含まれており、軽量なビジョンモデル（SmolVLM）を使用してチャートや画像の記述を生成します。

アクセシビリティについては、レイアウト分析とオートタギングを実行し、タグなしPDFをWell-Tagged PDF仕様に基づいたTagged PDFへと変換します。

対象ユーザー

• AI Engineers: RAGパイプラインを構築しており、ソース引用のためのバウンディングボックス付きのクリーンで構造化されたMarkdownまたはJSONを必要とする方。
• Accessibility Specialists: グローバルな規制（ADA、EAAなど）を遵守するために、タグなしPDFのアクセシブルな形式への変換を自動化する必要がある組織。
• Developers: PDF解析をアプリケーションに統合するために、Python、Node.js、またはJavaのSDKを必要とするユーザー。

ハイライト

• Benchmark Leader: 読解順序、表、および見出しにわたる総合的な抽出精度（0.907）において第1位を獲得しています。
• Multi-Format Output: Markdown、JSON（バウンディングボックス付き）、HTML、およびTagged PDFsへのエクスポートが可能です。
• AI-Enhanced Extraction: LaTeX数式の抽出と、画像やチャートのAI生成による記述をサポートしています。
• AI Safety: PDFレイヤーに隠されたプロンプトインジェクション攻撃を防ぐためのフィルターが含まれています。
• Open Source Core: レイアウト分析とオートタギング機能はApache 2.0ライセンスの下で提供されています。