Yuliang-Liu/MultimodalOCR

解决的问题

此项目解决了大型多模态模型（LMMs）在光学字符识别（OCR）和文档解析能力方面缺乏全面、真实世界评估工具的问题。它特别针对多语言支持、低资源语言、非拉丁文字，以及处理拍摄（而非仅数字）文档的能力等评估缺口。

运作方式

此存储库提供三个专业基准测试的套件：

• MDPBench：专注于 17 种语言和多种文字的多语言文档解析，测试模型在干净的数字页面和真实世界拍摄文档上的表现。
• OCRBench v2：一个大规模双语基准测试，涵盖 31 种多样化场景（如收据、公式和图表），包含 10,000 个人工验证的问答对，以测试视觉文字定位和推理能力。
• OCRBench：一个初始的全面基准测试，评估五个核心领域：文字识别、场景文字 VQA、文档导向 VQA、关键信息提取，以及手写数学表达式识别。

适用对象

此项目专为构建或评估大型多模态模型的研究人员和开发者设计，以确保其系统能准确解析各种语言和真实世界视觉条件下的文字和文档。

亮点

• 多语言范围：MDPBench 涵盖 17 种语言，包括阿拉伯语、印地语、泰语和越南语。
• 真实世界测试：特别评估从数字文档转换到拍摄文档时的性能下降。
• 多样化场景：OCRBench v2 包含 31 种不同场景，包括街景和技术图表。
• 人工验证：数据集采用严谨的专家标记和人工校正流程，以确保高质量的 ground truth。