Yuliang-Liu/MultimodalOCR

解決する問題

このプロジェクトは、大規模マルチモーダルモデル（LMM）の光学文字認識（OCR）および文書解析能力に関する包括的で実世界の評価ツールの欠如に対処します。特に、多言語サポート、低リソース言語、非ラテン文字、および（デジタル文書だけでなく）撮影された文書を処理する能力の評価ギャップを対象としています。

仕組み

このリポジトリは、3つの専門ベンチマークのスイートを提供します：

• MDPBench：17言語と多様な文字体系にわたる多言語文書解析に焦点を当て、クリーンなデジタルページと実世界の撮影文書の両方でモデルをテストします。
• OCRBench v2：31の多様なシナリオ（領収書、数式、図など）をカバーする大規模なバイリンガルベンチマークで、10,000の人間検証済みQAペアを含み、視覚的テキスト位置特定と推論をテストします。
• OCRBench：テキスト認識、シーンテキストVQA、文書指向VQA、キー情報抽出、手書き数式認識の5つのコア領域を評価する初期の包括的ベンチマーク。

対象読者

多言語および実世界の視覚条件でテキストと文書を正確に解析できるシステムを構築または評価する研究者や開発者向けに設計されています。

ハイライト

• 多言語範囲：MDPBenchはアラビア語、ヒンディー語、タイ語、ベトナム語を含む17言語をカバーします。
• 実世界テスト：デジタル文書から撮影文書への移行時のパフォーマンス低下を特に評価します。
• 多様なシナリオ：OCRBench v2には、街並みや技術図を含む31の異なるシナリオが含まれます。
• 人間検証：データセットは、高品質なグラウンドトゥルースのために、専門家によるラベリングと手動修正の厳格なパイプラインを利用します。