opendataloader-pdf: AI 준비형 데이터 추출 및 자동 PDF 접근성 태깅을 위한 고정밀 PDF 파서

해결하는 문제

OpenDataLoader PDF는 AI 및 LLM 파이프라인(RAG 등)을 위한 구조화된 데이터로 PDF를 변환하는 동시에, 수동 접근성 수정의 높은 비용을 줄이기 위해 스크린 리더가 읽을 수 있는 접근성 태그가 지정된 Tagged PDF 생성을 자동화하도록 설계된 고정밀 PDF 파서입니다.

작동 방식

이 도구는 두 가지 주요 처리 모드를 제공합니다:

• Deterministic Local Mode: 표준 디지털 PDF를 위해 빠른 Java 기반 처리를 사용하여 텍스트, 제목, 간단한 표를 매우 빠른 속도로 추출합니다.
• Hybrid AI Mode: 복잡한 페이지(테두리 없는 표, LaTeX 수식 또는 스캔된 이미지 포함)를 더 높은 정확도를 위해 AI 백엔드로 라우팅합니다. 이 모드에는 80개 이상의 언어에 대한 내장 OCR이 포함되어 있으며, 차트 및 이미지를 위한 설명을 생성하기 위해 경량 비전 모델(SmolVLM)을 사용합니다.

접근성을 위해, 레이아웃 분석 및 자동 태깅을 수행하여 태그가 지정되지 않은 PDF를 Well-Tagged PDF 사양에 따라 Tagged PDF로 변환합니다.

대상 사용자

• AI Engineers: 소스 인용을 위한 경계 상자(bounding boxes)가 포함된 깨끗하고 구조화된 Markdown 또는 JSON이 필요한 RAG 파이프라인 구축 개발자.
• Accessibility Specialists: 글로벌 규제(예: ADA, EAA)를 준수하기 위해 태그가 지정되지 않은 PDF를 접근 가능한 형식으로 변환하는 작업을 자동화해야 하는 조직.
• Developers: PDF 파싱을 애플리케이션에 통합하기 위해 Python, Node.js 또는 Java SDK를 필요로 하는 사용자.

주요 특징

• Benchmark Leader: 읽기 순서, 표, 제목 전반에 걸쳐 전체 추출 정확도(0.907)에서 1위를 차지합니다.
• Multi-Format Output: Markdown, JSON (경계 상자 포함), HTML 및 Tagged PDFs로 내보냅니다.
• AI-Enhanced Extraction: LaTeX 수식 추출 및 이미지와 차트에 대한 AI 생성 설명을 지원합니다.
• AI Safety: PDF 레이어에 숨겨진 프롬프트 주입 공격을 방지하기 위한 필터를 포함합니다.
• Open Source Core: 레이아웃 분석 및 자동 태깅 기능은 Apache 2.0 라이선스 하에 제공됩니다.