Yuliang-Liu/MultimodalOCR

On the Hidden Mystery of OCR in Large Multimodal Models (OCRBench)

解决的问题

本仓库提供了一套基准测试，用于评估大型多模态模型（LMMs）处理视觉文本的能力。它解决了多语言文档解析、真实世界拍摄文档，以及跨多种文字和语言的复杂视觉文本定位与推理任务缺乏系统性评估的问题。

工作原理

该项目包含三个主要基准测试：

  • MDPBench：专注于17种语言和多种文字体系的多语言文档解析，测试模型在干净的数字页面和真实世界拍摄文档上的表现。
  • OCRBench v2：一个大规模双语基准测试，使用10,000个经过人工验证的问答对，测试31种不同场景（如收据、公式、街景）中的视觉文本定位与推理能力。
  • OCRBench：原始基准测试，评估核心OCR能力，包括文本识别、场景文本VQA、文档VQA、关键信息提取以及手写数学表达式识别。

适用对象

需要衡量其在光学字符识别（OCR）和文档理解任务上性能的大型多模态模型（LMMs）的研究人员和开发者。

亮点

  • 多语言覆盖：MDPBench涵盖17种语言，包括低资源语言和非拉丁字母文字体系。
  • 真实世界测试：特别评估模型在拍摄文档与数字文档上的表现差异。
  • 全面场景覆盖：OCRBench v2涵盖31种不同的视觉文本场景。
  • 人工验证：所有基准测试均使用高质量的人工验证标注，确保评估的准确性。

相关

  • 项目
    Yuliang-Liu/MonkeyOCRv2

    MonkeyOCRv2 是一个用于 Document AI 的开源视觉文字基础模型。它搭载了基于 ViT 的视觉编码器，以及多语言解析与理解头（约 0.6-1.8 B 参数），在 17 种语言的 OCR、版面解析、VQA 和公式识别上达到了最先进的分数。模型可在 Hugging Face/ModelScope 上获取，可使用 Transformers 或 vLLM 运行（可选 CPU 支持与 DFlash 加速），并附带了大型 MonkeyDoc v2 预训练数据集。

  • 项目
    opendatalab/OmniDocBench

    OmniDocBench 是一个真正的开源基准测试，用于评估文档解析 AI 系统。它提供了一个包含 1,600 页、多语言的 PDF 数据集，具有丰富的块级和跨度级标注（文本、表格、公式、布局、阅读顺序），以及一个评估套件（Docker/Conda），可计算编辑距离、BLEU、TEDS、CDM 和检测指标。专为 OCR、表格提取、公式识别和布局检测的端到端及模块化评估而设计。

  • 项目
    MMMU-Benchmark/MMMU

    一个大规模的多学科基准测试，用于在 30 个不同学科上评估大学水平的专业知识和复杂推理能力的多种模态 AI 模型。

  • 项目
    MME-Benchmarks/Video-MME-v2

    一个用于评估 MLLM 视频理解能力的稳健基准，采用三级渐进难度量表和分组非线性评分机制，以衡量真实的时间推理能力。

  • Dispatch
    Visual Salamandra 7B 发布

    Hugging Face 的语言技术实验室发布了 Visual Salamandra，这是一款拥有 70 亿参数的多模态模型，在扩展 Salamandra LLM 的基础上支持图像和视频，并重点关注欧洲语言的多样性。