OpenDataLoader PDF – AI 지원 PDF 파싱 및 접근성

기능 – PDF(디지털, 스캔, 이미 태그된)를 구조화된 AI 친화적 형식으로 변환합니다:

Markdown, JSON(요소별 바운딩 박스 포함), HTML – 청킹 및 검색 증강 생성에 바로 사용 가능.
태그된 PDF – PDF/UA 호환 태그를 자동으로 추가하여 스크린 리더가 문서를 읽을 수 있도록 합니다.
엔터프라이즈 애드온 – PDF/UA-1/2 내보내기 및 시각적 "접근성 스튜디오".

중요한 이유 – PDF 콘텐츠는 LLM에게 매우 어렵습니다: 읽기 순서가 손실되고, 표가 깨지며, 인용을 위한 좌표가 없습니다. OpenDataLoader PDF는 결정론적 로컬 파서와 어려운 페이지를 원격 모델로 라우팅하는 선택적 "하이브리드" AI 모드를 제공하여 오픈소스 PDF 파서 중 최고의 벤치마크 점수(종합 0.907, 표 0.928)를 달성합니다.

주요 기술 포인트

로컬 엔진(Java 11+, Python/Node/Java SDK에서 호출)은 XY-Cut++ 읽기 순서 감지를 통해 빠르고 결정론적인 출력을 제공합니다.
하이브리드 모드 – 경량 서버(opendataloader-pdf-hybrid)가 복잡한 페이지를 AI 백엔드로 전달하여 OCR, 표 재구성, 수식 추출(LaTeX), 이미지 설명 생성(256M SmolVLM 모델 사용)을 수행합니다. 이는 경계 없는 표에서 90% 이상의 표 정확도를 제공합니다.
바운딩 박스 – 모든 요소(텍스트, 제목, 목록, 이미지, 표, 수식)에 대해 RAG 파이프라인에서 정확한 출처 인용을 가능하게 합니다.
접근성 – 무료 자동 태깅은 PDF Association의 Well-Tagged PDF 사양을 따르며 veraPDF로 검증됩니다. 완전한 PDF/UA 준수는 유료 엔터프라이즈 기능으로 제공됩니다.
다국어 OCR – EasyOCR(기본) 또는 대체 엔진(RapidOCR, Tesseract, Apple Vision, NVIDIA Nemotron OCR)을 통한 80개 이상의 언어.

사용 방법(빠른 시작)

pip install -U opendataloader-pdf   # Python SDK (Java 11+ 필요)

import opendataloader_pdf
opendataloader_pdf.convert(
    input_path=["file1.pdf", "folder/"],
    output_dir="out/",
    format="markdown,json"
)

Node 및 Java SDK도 유사한 명령으로 사용할 수 있습니다.

하이브리드 모드를 활성화할 때 – 다음과 같은 PDF의 경우:

복잡하거나 경계 없는 표
스캔 이미지(OCR 필요)
수학 공식
AI 생성 대체 텍스트가 필요한 차트 추가 종속성을 설치하고 백엔드 서버를 실행합니다. 예:

pip install "opendataloader-pdf[hybrid]"
opendataloader-pdf-hybrid --port 5002   # AI 서버 시작
opendataloader-pdf --hybrid docling-fast file.pdf   # 클라이언트 호출

성능 – 로컬 모드는 페이지를 약 0.015초에 처리합니다. 하이브리드 모드는 AI 강화 페이지에 대해 페이지당 약 0.45초를 추가합니다. 코어 파서에는 GPU가 필요하지 않습니다. AI 강화는 CPU(또는 선택적 GPU 지원 OCR 백엔드)에서 실행됩니다.

생태계 – 라이브러리는 PyPI, npm, Maven Central에서 제공되어 Python, JavaScript 또는 Java 애플리케이션에 쉽게 포함할 수 있습니다. 원활한 RAG 파이프라인을 위한 LangChain 통합이 제공됩니다.

라이선스 및 가격 – 코어 추출 및 자동 태깅은 Apache-2.0(무료)입니다. PDF/UA 내보내기, 시각적 접근성 스튜디오 및 엔터프라이즈급 지원은 상용 애드온입니다.

요약하자면, OpenDataLoader PDF는 PDF 파싱과 접근성을 현대 LLM 기반 워크플로의 요구에 연결하는 진정한 오픈소스 도구입니다.

opendataloader-project/opendataloader-pdf

OpenDataLoader PDF – AI 지원 PDF 파싱 및 접근성

관련