opendatalab/OmniDocBench

[CVPR 2025] A Comprehensive Benchmark for Document Parsing and Evaluation

해결하는 문제

OmniDocBench는 실제 시나리오에서 문서 구문 분석 모델을 평가하기 위한 포괄적이고 고품질의 벤치마크가 필요함을 해결합니다. 학술 논문, 재무 보고서, 손글씨 메모와 같은 다양한 문서 유형과 중첩된 표, 수학 공식과 같은 복잡한 요소를 다양한 언어와 레이아웃에서 AI 모델이 얼마나 잘 처리할 수 있는지 표준화된 방식으로 측정할 수 있습니다.

작동 방식

이 프로젝트는 풍부한 다단계 주석이 포함된 1,651개의 PDF 페이지 데이터셋을 제공합니다. 모델은 다음과 같은 여러 차원에서 평가됩니다:

  • 레이아웃 탐지: 블록 수준 요소(제목, 표, 그림)와 스팬 수준 요소(텍스트 줄, 인라인 수식)를 식별.
  • 인식: 텍스트 OCR, 수식 인식(LaTeX 사용), 표 인식(LaTeX 및 HTML 사용)의 정확도 평가.
  • 읽기 순서: 모델이 문서 구성 요소의 올바른 순서를 올바르게 식별했는지 확인.
  • 메트릭: 정규화된 편집 거리, BLEU, METEOR, TEDS, COCODet(mAP, mAR) 등 다양한 메트릭 사용.

대상 사용자

복잡한 PDF에서 구조화된 정보를 추출해야 하는 문서 구문 분석 시스템, OCR 엔진, 멀티모달 LLM을 개발하는 연구자 및 개발자에게 적합합니다.

주요 특징

  • 다양한 커버리지: 10개의 문서 유형, 5개의 레이아웃 유형, 5개의 언어 유형 포함.
  • 심층적 주석: 페이지 및 블록 특성에 대한 특정 속성 태그를 포함한 28개의 블록 수준 및 4개의 스팬 수준 주석 제공.
  • 고품질: 수동 스크리닝, 지능형 주석, 전문가 품질 검사를 통해 데이터를 큐레이션.
  • 유연한 평가: 제공된 코드와 Docker 기반 런타임 환경을 통해 엔드투엔드 및 단일 모듈 평가 모두 지원.

관련

  • 프로젝트
    run-llama/ParseBench

    ParseBench는 기업용 2,000페이지 데이터셋을 사용하여 테이블, 차트, 콘텐츠 충실도, 의미적 포맷, 시각적 기준의 5가지 차원에서 PDF 파싱 도구를 평가하는 Apache-2.0 벤치마크입니다. CLI, 180개 이상의 사전 구성된 파이프라인(LlamaParse, OpenAI, Anthropic, Google, Azure 등), 결정론적 규칙 기반 메트릭을 제공하며, 인터랙티브 HTML 리포트와 랭킹을 생성합니다.

  • 프로젝트
    Yuliang-Liu/MultimodalOCR

    대규모 다중 모달 모델의 OCR 및 다국어 문서 파싱 능력을 실제 시나리오에서 평가하는 데 사용되는 벤치마크 모음(MDPBench, OCRBench, OCRBench v2).

  • Dispatch
    Hugging Face 문서 AI 가속화

    Hugging Face는 오픈소스 멀티모달 모델을 활용하여 기업 워크플로우에서 문서 분류, 파싱 및 시각적 질문 응답을 자동화하는 포괄적인 가이드를 제공합니다.

  • 프로젝트
    PaddlePaddle/PaddleOCR

    PaddleOCR는 이미지나 PDF를 구조화된 LLM 대응 텍스트, 표, 마크다운/JSON으로 변환하는 오픈소스 OCR 및 문서 AI 툴킷입니다. PP-OCRv6를 통한 다국어 장면 텍스트 인식 모델과 PaddleOCR-VL / PP-StructureV3를 통한 경량 시각-언어 모델을 제공하며, 최고 수준의 정확도, 빠른 CPU/GPU 추론, Docker에서 브라우저 SDK까지 다양한 배포 옵션을 갖추고 있습니다. Dify 및 RAGFlow와 같은 RAG 플랫폼과 통합되어 AI 에이전트 및 검색 증강 생성 파이프라인의 데이터 엔진으로 활용됩니다.

  • 프로젝트
    docling-project/docling-parse

    Docling Parse는 빠르고 구성 가능한 PDF 파싱 라이브러리 (Python API와 C++ 코어)로, 텍스트, 단어, 줄, 벡터 형태, 비트맵 이미지와 함께 좌표를 추출합니다. 순차적 및 멀티스레드 파싱을 지원하며, 각 페이지별로 계산 또는 물리화할 내용을 선택할 수 있고, 렌더링 유틸리티도 포함되어 있어 레이아웃 인식 문서 데이터를 AI 워크플로우에 최적화합니다.