oomol-lab/pdf-craft

PDF craft can convert PDF files into various other formats. This project will focus on processing PDF files of scanned books.

PDF Craft – 스캔된 PDF를 편집 가능한 Markdown 또는 EPUB로 변환(번역 포함)

기능

PDF Craft는 스캔된 PDF 책이나 기술 문서를 처리하고 콘텐츠(텍스트, 이미지, 표, 수식, 각주, 목차)를 추출하는 Python 라이브러리입니다. 추출된 자료는 다음으로 저장할 수 있습니다:

  • Markdown(일반 텍스트 및 이미지 자산) – 편집, 검색, 다른 파이프라인에 공급하기 쉽습니다.
  • EPUB – 적절한 메타데이터와 내비게이션을 갖춘 즉시 읽을 수 있는 전자책.
  • 번역 버전 – 라이브러리는 텍스트 생성 LLM을 호출하여 추출된 텍스트를 번역하고, 이중 언어 Markdown/EPUB 또는 번역을 원본 페이지에 렌더링한 새 PDF를 생성할 수 있습니다.

중요성

스캔된 책은 일반적으로 이미지 전용 PDF에 고정되어 있어 검색, 편집, 재사용이 어렵습니다. PDF Craft는 전체 파이프라인을 자동화합니다:

  1. OCR – DeepSeek OCR(또는 기타 지원되는 백엔드)을 원격 API 또는 CUDA 지원 GPU의 로컬에서 사용합니다.
  2. 구조 감지 – 장, 목차, 각주, 표, 수식, 이미지를 인식하여 논리적 레이아웃을 보존합니다.
  3. 내보내기 – 깨끗한 Markdown 또는 표준 준수 EPUB을 생성하며, 선택적으로 소형 LLM이 추출한 메타데이터로 강화합니다.
  4. 번역 – 별도의 LLM을 활용하여 텍스트를 번역하고, 이중 언어 출력 또는 완전히 번역된 PDF를 지원합니다.

이를 통해 수동 재입력 시간을 절약하고 요약, 지식 그래프 생성, 다른 AI 모델에 텍스트 공급과 같은 다운스트림 작업을 가능하게 합니다.

빠른 시작

# 패키지 설치(원격 OCR은 즉시 사용 가능)
python -m pip install pdf-craft
from pdf_craft import DeepSeekOCRVendorConfig, PDFCraft, PDFOptions

craft = PDFCraft(
    pdf=PDFOptions(
        ocr=DeepSeekOCRVendorConfig(
            base_url="https://example.com/v1",  # 귀하의 OCR 서비스 엔드포인트
            api_key="your-api-key",
            model="deepseek-ocr",
        ),
    ),
)

# Markdown으로 변환
craft.convert_pdf_to_markdown("input.pdf", "output.md")

# 또는 EPUB으로 변환
craft.convert_pdf_to_epub("input.pdf", "output.epub")

비동기 애플리케이션에는 AsyncPDFCraft를 사용하고 동일한 메서드를 await하세요.

로컬 GPU 모드

NVIDIA GPU가 있는 경우 추가 종속성을 설치할 수 있습니다:

python -m pip install "pdf-craft[local]"

그런 다음 라이브러리는 Hugging Face에서 DeepSeek OCR 모델을 로컬로 로드합니다.

주요 구성 요소

구성 요소 역할
DeepSeek OCR / DeepSeek OCR 2 / Unlimited OCR 텍스트 인식 백엔드(원격 또는 로컬).
XMLTranslator 텍스트 생성 LLM을 호출하여 추출된 콘텐츠를 번역합니다.
.pcex 추출 파일 나중에 렌더링, 번역, 공유에 재사용할 수 있는 직렬화된 중간 표현.
Ghostscript + 글꼴 번역된 텍스트를 원본 PDF 페이지에 다시 쓸 때 필요합니다.

어떤 사용 경로를 선택할지

경로 가장 적합한 경우 요구 사항
온라인 데모 아무것도 설치하지 않고 빠르게 시도. 웹 브라우저.
Python + 원격 OCR 로컬에서 무거운 OCR 모델을 실행하고 싶지 않은 개발자. Poppler, OCR 서비스 URL 및 API 키.
Python + 로컬 OCR 완전 오프라인 처리, 배치 작업 또는 개인정보 보호가 중요한 데이터. Poppler, CUDA 지원 GPU, 충분한 VRAM, 모델 파일.

문서 및 생태계

  • 설치 가이드 – Poppler 설정, GPU 요구 사항, 로컬 OCR용 추가 설치.
  • OCR 백엔드 – 원격 서비스 구성 또는 로컬 모델 다운로드 방법.
  • PDF 변환 및 번역 – 메타데이터 추출, 이중 언어 EPUB, PDF 역번역 옵션.
  • EPUB 번역 – 번역 텍스트 교체 또는 추가.
  • API 참조 – PDFCraft, AsyncPDFCraft, DeepSeekOCRVendorConfig, PDFOptions와 같은 유형.
  • .pcex 형식 – 재사용을 위한 휴대용 추출 파일.
  • 문제 해결 – 일반적인 설치 및 변환 문제.

누가 사용할까요

  • 연구자와 학생 – 스캔된 논문이나 책의 검색 가능하고 편집 가능한 버전이 필요한 사람.
  • 독서 앱을 개발하는 개발자 – 레거시 PDF를 통합하려는 사람.
  • 콘텐츠 제작자 – 오래된 책을 새로운 언어로 번역하려는 사람.
  • 지식 그래프 프로젝트(예: 링크된 Wiki Graph 저장소) – 요약이나 그래프를 구축하기 위해 깨끗한 텍스트가 필요한 사람.

PDF Craft는 오픈소스(MIT)이며 DeepSeek OCR, Unlimited OCR 및 기타 커뮤니티 라이브러리를 기반으로 합니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트