opendatalab/MinerU

해결하는 문제

MinerU는 PDF, 스캔된 이미지, 다양한 Office 형식을 포함한 복잡한 문서를 깨끗하고 구조화된 기계가 읽을 수 있는 콘텐츠로 변환하기 위해 설계된 포괄적인 문서 파싱 도구입니다. 다양한 파일 형식에서 텍스트를 추출할 때 테이블, 수식, 레이아웃과 같은 구조 정보가 손실되는 문제를 해결하며, 고정밀도 문서 이해가 필요한 AI 에이전트 및 RAG 파이프라인에 이상적입니다.

작동 방식

MinerU는 속도와 품질의 균형을 위해 다단계 파싱 접근 방식을 사용합니다.

• 4단계 파싱: Flash (빠른 미리보기/인덱싱), Basic (OCR 및 모델 기반), Standard/Advanced (고품질 레이아웃 분석)를 제공합니다.
• 광범위한 형식 지원: PDF, 이미지, DOC/DOCX, PPT/PPTX, XLS/XLSX, RTF, ODT/ODS/ODP, EPUB, OFD, HTML/MHTML, CSV/TSV를 지원합니다.
• 유연한 런타임: 작은 모델에는 ONNX 및 Torch를, 시각 언어 모델(VLM)에는 llama.cpp, vLLM, LMDeploy를 지원하는 다양한 추론 엔진을 사용할 수 있습니다.
• 문서 라이브러리: 결과를 로컬 캐시하고 콘텐츠 검색이 가능하며, 특정 페이지나 블록을 안정적으로 인용할 수 있는 고정 로케이터를 제공합니다.

대상 사용자

• AI 에이전트 개발자: 긴 문서를 읽고 인용하며 탐색할 수 있는 신뢰할 수 있는 방법이 필요하며, 컨텍스트 창을 과부하시키지 않아야 하는 경우.
• 데이터 엔지니어: 대량의 다양한 문서를 Markdown, LaTeX, HTML로 변환하여 학습 또는 분석에 활용해야 하는 경우.
• RAG 파이프라인 구축자: 검색된 컨텍스트의 품질을 보장하기 위해 정밀한 문서 파싱이 필요한 경우.

주요 특징

• 고정밀 추출: 테이블, 수식, 복잡한 페이지 레이아웃에 특화되어 있습니다.
• 에이전트 중심 설계: 정확한 인용과 점진적 읽기를 가능하게 하는 안정적인 로케이터(doc:id/tier/page/block)를 제공합니다.
• 다중 타겟 렌더링: Markdown, HTML, LaTeX, DOCX, EPUB, PDF, 구조화된 콘텐츠로 결과를 내보낼 수 있습니다.
• 로컬 우선: 기본적으로 로컬에서 작동하여 개인정보 보호와 데이터 보안을 보장합니다.