opendatalab/MinerU

何を解決するか

MinerUは、PDF、スキャン画像、さまざまなOffice形式を含む複雑なドキュメントを、クリーンで構造化された機械可読コンテンツに変換する包括的なドキュメントパーサーです。異なるファイル形式からテキストを抽出する際に、テーブル、数式、レイアウトなどの構造情報が失われる問題を解決し、高精度なドキュメント理解を必要とするAIエージェントやRAGパイプラインに最適です。

動作方法

MinerUは、速度と品質のバランスを取るためにマルチティアのパースアプローチを採用しています。

• 4つのパースティア: Flash（高速プレビュー/インデキシング）、Basic（OCRとモデルベース）、Standard/Advanced（高品質なレイアウト分析）を提供。
• 広範なフォーマット対応: PDF、画像、DOC/DOCX、PPT/PPTX、XLS/XLSX、RTF、ODT/ODS/ODP、EPUB、OFD、HTML/MHTML、CSV/TSVをサポート。
• 柔軟なランタイム: ONNXやTorchによる小規模モデル、およびllama.cpp、vLLM、LMDeployによる視覚言語モデル（VLM）に対応する推論エンジンをサポート。
• ドキュメントライブラリ: ローカルにキャッシュされた結果を管理し、コンテンツ検索が可能で、特定のページやブロックを安定して参照できるロケータを提供。

対象ユーザー

• AIエージェント開発者: 長いドキュメントを読み取り、引用・ナビゲーションを行うために、コンテキストウィンドウを過負荷にしない信頼性の高い方法が必要な方。
• データエンジニア: 多様なドキュメントを大量にMarkdown、LaTeX、HTMLに変換してトレーニングや分析に活用したい方。
• RAGパイプライン構築者: 取得したコンテキストの品質を保証するために、正確なドキュメントパースを必要とする方。

特徴

• 高精度抽出: テーブル、数式、複雑なページレイアウトに特化。
• エージェント中心の設計: 精確な引用と段階的読解を可能にする安定したロケータ（doc:id/tier/page/block）を提供。
• マルチターゲットレンダリング: Markdown、HTML、LaTeX、DOCX、EPUB、PDF、構造化コンテンツへのエクスポートが可能。
• ローカル優先: デフォルトでローカルで動作し、プライバシーとデータセキュリティを確保。