run-llama/liteparse

A fast, helpful, and open-source document parser

해결하는 문제

LiteParse는 빠르고 가볍고 독립적인 오픈소스 PDF 파서입니다. 전용 LLM 기능이나 클라우드 기반 종속성 없이 로컬에서 고품질의 공간 텍스트와 구조를 추출하는 문제를 해결합니다.

작동 방식

Rust 커널로 구축된 LiteParse는 PDFium을 사용해 빠른 텍스트 추출을 수행하고, 격자 투영 시스템을 통해 공간 레이아웃을 재구성합니다. LibreOffice 또는 Rust 기반 이미지 라이브러리를 통해 PDF, DOCX, XLSX, PPTX 및 이미지와 같은 다양한 입력 형식을 변환하여 지원합니다. OCR이 필요한 문서의 경우 내장된 Tesseract 엔진을 제공하거나, 표준 HTTP API를 통해 외부 OCR 서버(예: EasyOCR 또는 PaddleOCR)를 연동할 수 있습니다. 이후 페이지를 블록(제목, 표, 목록 등)으로 분류하여 구조화된 Markdown, JSON, 또는 일반 텍스트로 렌더링합니다.

대상 사용자

RAG 파이프라인과 LLM 에이전트를 구축하는 개발자들을 위한 도구입니다. 클라우드 서비스의 지연이나 비용 없이 정밀한 경계 상자와 구조화된 출력을 제공하는 로컬에서 고성능으로 동작하는 문서 파서가 필요하신 분들께 적합합니다.

주요 특징

  • 고성능: 공간 텍스트 파싱은 일반적으로 페이지당 2–5ms 소요됩니다.
  • 로컬 실행: Linux, macOS, Windows에서 사용자 기계에서 완전히 로컬로 실행됩니다.
  • 다국어 지원: Rust, Node.js/TypeScript, Python, 브라우저(WASM)용 라이브러리와 CLI 도구 제공.
  • 유연한 OCR: 설정 없이 바로 사용 가능한 Tesseract를 포함하고, 표준 API를 통해 사용자 정의 OCR 서버도 지원합니다.
  • 구조화된 출력: 표와 제목을 포함한 Markdown, JSON, 일반 텍스트를 생성하며, 텍스트 및 레이아웃 블록의 정밀한 경계 상자도 포함합니다.
  • 에이전트 준비: 에이전트 기술로 통합 가능하며, LLM 에이전트용 고품질 페이지 스크린샷도 생성합니다.

관련

  • 프로젝트
    docling-project/docling-parse

    Docling Parse는 빠르고 구성 가능한 PDF 파싱 라이브러리 (Python API와 C++ 코어)로, 텍스트, 단어, 줄, 벡터 형태, 비트맵 이미지와 함께 좌표를 추출합니다. 순차적 및 멀티스레드 파싱을 지원하며, 각 페이지별로 계산 또는 물리화할 내용을 선택할 수 있고, 렌더링 유틸리티도 포함되어 있어 레이아웃 인식 문서 데이터를 AI 워크플로우에 최적화합니다.

  • 프로젝트
    arcships/light-ocr

    light‑ocr은 Node.js 및 C++를 위한 크로스 플랫폼 오프라인 OCR 라이브러리입니다. 모델, PDF 렌더러, 중국어 폰트를 단일 npm 패키지에 번들로 제공하며, macOS, Linux, Windows용 네이티브 바이너리를 지원합니다. 또한 Core ML이나 WebGPU를 통해 추론을 가속화할 수 있습니다. API는 신뢰도 점수와 사각형 좌표가 포함된 텍스트 라인을 반환하며, CLI를 통한 빠른 명령줄 사용도 가능합니다. 모델 크기는 6 MB의 Tiny부터 139 MB의 Medium까지 다양하며, 모두 Apache 2.0 라이선스로 제공됩니다.

  • 프로젝트
    firecrawl/pdf-inspector

    pdf-inspector는 Rust 기반 라이브러리(Python, Node, WASM 바인딩 제공)로, PDF를 빠르게 분류하고 위치 정보를 포함한 텍스트를 추출하여 깔끔한 Markdown으로 변환합니다. OCR이 필요한 페이지만 로컬 모델로 라우팅하여 시간과 비용을 절약할 수 있습니다. 벤치마크 결과, 200개의 PDF 테스트 세트에서 유사 도구보다 더 빠르고 정확한 성능을 보여줍니다.

  • 프로젝트
    drmingler/smart-llm-loader

    OCR 및 LLM 기반 시맨틱 청킹을 사용하여 문서와 스캔된 이미지를 깨끗하고 구조화된 마크다운 청크로 변환하는 Python 패키지. RAG 시스템용.

  • 프로젝트
    PaddlePaddle/PaddleOCR

    PaddleOCR는 이미지나 PDF를 구조화된 LLM 대응 텍스트, 표, 마크다운/JSON으로 변환하는 오픈소스 OCR 및 문서 AI 툴킷입니다. PP-OCRv6를 통한 다국어 장면 텍스트 인식 모델과 PaddleOCR-VL / PP-StructureV3를 통한 경량 시각-언어 모델을 제공하며, 최고 수준의 정확도, 빠른 CPU/GPU 추론, Docker에서 브라우저 SDK까지 다양한 배포 옵션을 갖추고 있습니다. Dify 및 RAGFlow와 같은 RAG 플랫폼과 통합되어 AI 에이전트 및 검색 증강 생성 파이프라인의 데이터 엔진으로 활용됩니다.