opendatalab/DocLayout-YOLO

해결하는 문제

문서는 다양한 스타일과 레이아웃으로 구성되어 있으며, 제목, 텍스트 블록, 표, 그림과 같은 요소가 페이지의 어디에 위치하는지 파악하는 것은 PDF 추출이나 문서 디지털화와 같은 작업에 필수적입니다. 기존 모델들은 종종 다양성과 크기가 매우 다른 요소들을 처리하는 데 어려움을 겪습니다. 이 프로젝트는 해당 작업을 위한 빠르고 강력한 탐지기를 제공합니다.

작동 방식

YOLO-v10 객체 탐지 프레임워크를 기반으로 구축된 이 모델은 Mesh-candidate BestFit이라는 파이프라인으로 생성된 DocSynth-300K라는 합성 데이터셋으로 사전 학습되었습니다. 이 파이프라인은 텍스트나 이미지와 같은 요소를 빈 페이지 배경에 배치하여 사실적인 문서 페이지를 구성하며, 이 작업을 2D 패킹 문제로 처리합니다. 또한 모델은 전역 구조와 지역 세부 정보를 모두 인식하도록 설계된 특수 모듈을 사용하여 전체 페이지 크기의 표부터 작은 캡션까지 다양한 요소를 정확하게 탐지합니다. 간단한 Python SDK나 데모 스크립트를 사용하여 예측을 실행할 수 있으며, 일반적인 벤치마크 데이터셋에서 미세 조정된 체크포인트도 포함되어 있습니다.

대상 사용자

문서 처리 파이프라인을 구축하는 개발자, 레이아웃 분석을 연구하는 연구자, 또는 스캔된 문서나 디지털 네이티브 문서의 구성 요소를 자동으로 찾아야 하는 모든 사람. 또한 PDF-Extract-Kit 및 MinerU와 같은 대규모 오픈 소스 프로젝트 내에서 콘텐츠 추출을 위해 사용됩니다.

주요 특징

• 빠른 실험을 위한 Hugging Face Spaces 온라인 데모.
• 추론을 위한 사전 학습된 모델과 D4LA 및 DocLayNet 벤치마크용 체크포인트 제공.
• 대규모의 다양한 학습 세트를 생성할 수 있는 합성 데이터 생성 파이프라인 (Mesh-candidate BestFit).
• PDF-Extract-Kit 및 MinerU와의 통합을 통한 엔드투엔드 문서 파싱.
• pip를 통한 간편한 설치 및 스크립트 기반과 SDK 기반 예측 모두 지원.