pymupdf/pymupdf4llm

해결하는 문제

PyMuPDF4LLM은 복잡한 문서(PDF, EPUB 등)를 깔끔하고 구조화된 데이터 형식인 Markdown, JSON, 일반 텍스트로 변환합니다. RAG 파이프라인에서 흔히 발생하는 '더러운 데이터' 문제에 특화되어 있으며, 일반적인 텍스트 추출 도구가 실패하는 다중 열 레이아웃, 표, 스캔된 페이지를 처리합니다. GPU나 클라우드 기반 API가 필요 없이 로컬에서 모든 작업을 수행할 수 있습니다.

작동 방식

MuPDF C 엔진 기반으로 개발되어 문서 레이아웃을 분석하여 텍스트의 자연스러운 독해 순서를 재구성합니다. 실제로 읽기 불가능하거나 이미지 기반 영역에만 광학 문자 인식(OCR)을 적용하는 하이브리드 OCR 전략을 사용하여 전체 문서 OCR 대비 약 50%의 처리 시간을 절약합니다. GitHub 호환 Markdown(GFM 파이프 테이블 포함), 경계 상자 메타데이터를 포함한 구조화된 JSON, 또는 벡터 스토어에 직접 인풋 가능한 페이지 단위 청크로 출력할 수 있습니다.

대상 사용자

RAG(Retrieval-Augmented Generation) 애플리케이션을 개발하는 개발자, LLM 학습 또는 임베딩용 데이터셋을 준비하는 데이터 엔지니어, 시각 기반 LLM 추출의 비용을 피하고 싶은 모든 사용자.

주요 특징

• 다양한 형식 출력: Markdown, JSON, 일반 텍스트 지원.
• 레이아웃 인식 추출: 다중 열 페이지를 처리하고 독해 순서를 재구성.
• 하이브리드 OCR: 이미지로 덮여 있거나 손상된 텍스트 영역에만 OCR 적용.
• RAG 준비 청킹: 벡터 스토어용 페이지 단위 청크와 완전한 메타데이터 제공.
• 프레임워크 통합: LlamaIndex 및 LangChain에 즉시 통합 지원.
• 고효율성: 시각 기반 LLM 접근 방식보다 10~250배 저렴하고 훨씬 빠릅니다.