Yuliang-Liu/MultimodalOCR

On the Hidden Mystery of OCR in Large Multimodal Models (OCRBench)

解決的問題

本倉儲提供一套基準測試，用於評估大型多模態模型（LMMs）處理視覺文字的能力。它解決了多語言文件解析、真實世界拍攝文件，以及跨多種文字與語言的複雜視覺文字定位與推理任務缺乏系統性評估的問題。

工作原理

此專案包含三個主要基準測試：

  • MDPBench：專注於17種語言與多樣文字系統的多語言文件解析，測試模型在乾淨的數位頁面與真實世界拍攝文件上的表現。
  • OCRBench v2：一個大規模雙語基準測試，使用10,000個經人工驗證的問答對，測試31種不同情境（如收據、公式、街景）中的視覺文字定位與推理能力。
  • OCRBench：原始基準測試，評估核心OCR能力，包括文字識別、場景文字VQA、文件VQA、關鍵資訊提取以及手寫數學表達式識別。

適用對象

需要衡量其在光學字元識別（OCR）與文件理解任務上效能的大型多模態模型（LMMs）的研究人員與開發者。

亮點

  • 多語言覆蓋：MDPBench涵蓋17種語言，包括低資源語言與非拉丁字母文字系統。
  • 真實世界測試：特別評估模型在拍攝文件與數位文件上的表現差異。
  • 全面情境覆蓋：OCRBench v2涵蓋31種不同的視覺文字情境。
  • 人工驗證：所有基準測試均使用高品質的人工驗證標註，確保評估的準確性。

相關

  • 專案
    Yuliang-Liu/MonkeyOCRv2

    MonkeyOCRv2 是一個用於 Document AI 的開源視覺文字基礎模型。它搭載了基於 ViT 的視覺編碼器，以及多語言解析與理解頭（約 0.6-1.8 B 參數），在 17 種語言的 OCR、版面解析、VQA 和公式識別上達到了最先進的分數。模型可在 Hugging Face/ModelScope 上取得，可使用 Transformers 或 vLLM 執行（可選 CPU 支援與 DFlash 加速），並附帶了大型 MonkeyDoc v2 預訓練資料集。

  • 專案
    opendatalab/OmniDocBench

    OmniDocBench 是一個真正的開源基準測試，用於評估文件解析 AI 系統。它提供了一個包含 1,600 頁、多語言的 PDF 資料集，具有豐富的區塊級和跨度級標註（文字、表格、公式、版面、閱讀順序），以及一個評估套件（Docker/Conda），可計算編輯距離、BLEU、TEDS、CDM 和檢測指標。專為 OCR、表格提取、公式識別和版面檢測的端對端及模組化評估而設計。

  • 專案
    MMMU-Benchmark/MMMU

    一個大規模的多學科基準測試，用於在 30 個不同學科上評估大學程度的專業知識與複雜推理能力的多元模態 AI 模型。

  • 專案
    MME-Benchmarks/Video-MME-v2

    一個用於評估 MLLM 影片理解能力的穩健基準，採用三級漸進難度量表與分組非線性評分機制，以衡量真實的時間推理能力。

  • Dispatch
    Visual Salamandra 7B 發布

    Hugging Face 的語言技術實驗室已發布 Visual Salamandra，這是一個 70 億參數的多模態模型，擴展了 Salamandra 大型語言模型以支援圖像和影片，並聚焦於歐洲語言多樣性。