Yuliang-Liu/MonkeyOCRv2

해결하는 문제

MonkeyOCRv2는 Document AI를 위한 시각-텍스트 기반 모델입니다. 디지털 생성 PDF, 사진 촬영 문서, 과학 논문, 의료 보고서, 차트 등 다양한 언어와 형식의 텍스트 중심 문서를 정확하게 파싱하고 이해하는 문제를 해결합니다.

작동 방식

이 프로젝트는 다양한 작업에 시각적 백본으로 사용할 수 있는 문서 기반 비전 인코더를 제공합니다. 다양한 요구에 맞는 전용 모델을 제공합니다:

• MonkeyOCRv2-Parsing: 다국어 문서 파싱 모델로, 문서를 Markdown 및 JSON 형식으로 변환합니다.
• MonkeyOCRv2-Und: 문서 이해를 위한 모델로, 문서에 대한 시각적 질의 응답(VQA)을 가능하게 합니다.
• 비전 인코더: 다른 OCR 시스템에 통합할 수 있는 독립형 인코더(S, B, AS 버전)를 제공합니다.

이 모델은 17개 언어에서 1억 1300만 개의 문서 이미지-텍스트 쌍을 포함하는 거대한 다국어 코퍼스인 MonkeyDoc v2를 기반으로 합니다.

대상 사용자

• AI 개발자: 문서 처리 파이프라인 또는 RAG(Retrieval-Augmented Generation) 시스템을 구축하는 사람 (예: 이미 RAGFlow에서 지원됨).
• 연구자: OCR, 문서 이해, 장면 텍스트 인식 분야에서 연구하는 사람.
• 기업 사용자: 대규모로 복잡한 다국어 문서를 디지털화해야 하는 조직.

주요 특징

• 다국어 지원: 라틴어 및 비라틴 문자를 포함한 17개 언어에서 강력한 파싱이 가능합니다.
• DFlash 가속: vLLM 서빙에 DFlash를 지원하여 최대 2배 빠른 추론을 제공합니다.
• 다양한 작업 지원: 텍스트 인식, 탐지, 수식 인식, 문서 위변조 탐지가 가능합니다.
• 대규모 사전 학습: 세계 최대 규모의 문서 이미지 사전 학습 데이터셋 중 하나인 MonkeyDoc v2를 기반으로 구축되었습니다.