Yuliang-Liu/MultimodalOCR

해결하는 문제

이 프로젝트는 대규모 다중 모달 모델(LMM)의 광학 문자 인식(OCR) 및 문서 파싱 능력에 대한 포괄적이고 실제적인 평가 도구의 부족을 해결합니다. 특히 다국어 지원, 저자원 언어, 비라틴 문자, 그리고 (디지털 문서뿐만 아니라) 촬영된 문서를 처리하는 능력의 평가 격차를 대상으로 합니다.

작동 방식

이 저장소는 세 가지 전문 벤치마크 모음을 제공합니다:

• MDPBench: 17개 언어와 다양한 문자 체계에 걸친 다국어 문서 파싱에 초점을 맞추며, 깨끗한 디지털 페이지와 실제 촬영 문서 모두에서 모델을 테스트합니다.
• OCRBench v2: 31개의 다양한 시나리오(영수증, 수식, 다이어그램 등)를 다루는 대규모 이중 언어 벤치마크로, 10,000개의 인간 검증 QA 쌍을 포함하여 시각적 텍스트 위치 파악 및 추론을 테스트합니다.
• OCRBench: 텍스트 인식, 장면 텍스트 VQA, 문서 지향 VQA, 핵심 정보 추출, 손글씨 수학 표현식 인식의 다섯 가지 핵심 영역을 평가하는 초기 포괄적 벤치마크.

대상 사용자

다양한 언어와 실제 시각적 조건에서 텍스트와 문서를 정확히 파싱할 수 있는 시스템을 구축하거나 평가하는 연구자와 개발자를 위해 설계되었습니다.

주요 특징

• 다국어 범위: MDPBench는 아랍어, 힌디어, 태국어, 베트남어를 포함한 17개 언어를 다룹니다.
• 실제 테스트: 디지털 문서에서 촬영 문서로 전환할 때의 성능 저하를 특히 평가합니다.
• 다양한 시나리오: OCRBench v2는 거리 장면과 기술 다이어그램을 포함한 31개의 다양한 시나리오를 포함합니다.
• 인간 검증: 데이터셋은 고품질의 ground truth를 위해 전문가 라벨링과 수동 수정의 엄격한 파이프라인을 사용합니다.