oomol-lab/pdf-craft

PDF craft can convert PDF files into various other formats. This project will focus on processing PDF files of scanned books.

PDF Craft – スキャンされた PDF を編集可能な Markdown または EPUB に変換(翻訳付き)

機能

PDF Craft は、スキャンされた PDF の書籍や技術文書を処理し、そのコンテンツ(テキスト、画像、表、数式、脚注、目次)を抽出する Python ライブラリ です。抽出された資料は、以下として保存できます:

  • Markdown(プレーンテキストと画像アセット)– 編集、検索、他のパイプラインへの取り込みが簡単。
  • EPUB – 適切なメタデータとナビゲーションを備えた、すぐに読める電子書籍。
  • 翻訳版 – ライブラリはテキスト生成 LLM を呼び出して抽出テキストを翻訳し、バイリンガル Markdown/EPUB や、翻訳を元のページにレンダリングした新しい PDF を生成できます。

重要性

スキャンされた書籍は通常、画像のみの PDF に固定されており、検索、編集、再利用が困難です。PDF Craft はパイプライン全体を自動化します:

  1. OCR – DeepSeek OCR(または他のサポートされているバックエンド)を、リモート API または CUDA 対応 GPU 上のローカルで使用します。
  2. 構造検出 – 章、目次、脚注、表、数式、画像を認識し、論理レイアウトを保持します。
  3. エクスポート – クリーンな Markdown または標準準拠の EPUB を生成し、オプションで小さな LLM によって抽出されたメタデータを強化します。
  4. 翻訳 – 別の LLM を利用してテキストを翻訳し、バイリンガル出力または完全翻訳 PDF をサポートします。

これにより、手動での再入力の時間を節約し、要約、知識グラフの作成、他の AI モデルへのテキスト供給などの下流タスクを可能にします。

クイックスタート

# パッケージをインストール(リモート OCR はすぐに使用可能)
python -m pip install pdf-craft
from pdf_craft import DeepSeekOCRVendorConfig, PDFCraft, PDFOptions

craft = PDFCraft(
    pdf=PDFOptions(
        ocr=DeepSeekOCRVendorConfig(
            base_url="https://example.com/v1",  # あなたの OCR サービスエンドポイント
            api_key="your-api-key",
            model="deepseek-ocr",
        ),
    ),
)

# Markdown に変換
craft.convert_pdf_to_markdown("input.pdf", "output.md")

# または EPUB に変換
craft.convert_pdf_to_epub("input.pdf", "output.epub")

非同期アプリケーションには AsyncPDFCraft を使用し、同じメソッドを await してください。

ローカル GPU モード

NVIDIA GPU をお持ちの場合は、追加の依存関係をインストールできます:

python -m pip install "pdf-craft[local]"

その後、ライブラリは Hugging Face から DeepSeek OCR モデルをローカルに読み込みます。

主要コンポーネント

コンポーネント 役割
DeepSeek OCR / DeepSeek OCR 2 / Unlimited OCR テキスト認識バックエンド(リモートまたはローカル)。
XMLTranslator テキスト生成 LLM を呼び出して抽出コンテンツを翻訳します。
.pcex 抽出ファイル 後でレンダリング、翻訳、共有に再利用できるシリアル化された中間表現。
Ghostscript + フォント 翻訳テキストを元の PDF ページに書き戻すときに必要です。

どの使用パスを選択するか

パス 最適な用途 要件
オンラインデモ 何もインストールせずに簡単に試す。 Web ブラウザ。
Python + リモート OCR ローカルで重い OCR モデルを実行したくない開発者。 Poppler、OCR サービス URL と API キー。
Python + ローカル OCR 完全オフライン処理、バッチジョブ、またはプライバシーに敏感なデータ。 Poppler、CUDA 対応 GPU、十分な VRAM、モデルファイル。

ドキュメントとエコシステム

  • インストールガイド – Poppler のセットアップ、GPU 要件、ローカル OCR の追加インストール。
  • OCR バックエンド – リモートサービスの設定方法またはローカルモデルのダウンロード方法。
  • PDF 変換と翻訳 – メタデータ抽出、バイリンガル EPUB、PDF への逆翻訳のオプション。
  • EPUB 翻訳 – 翻訳テキストの置換または追加。
  • API リファレンス – PDFCraft、AsyncPDFCraft、DeepSeekOCRVendorConfig、PDFOptions などの型。
  • .pcex 形式 – 再利用のためのポータブル抽出ファイル。
  • トラブルシューティング – 一般的なインストールおよび変換の問題。

誰が使うか

  • 研究者と学生 – スキャンされた論文や書籍の検索可能で編集可能なバージョンが必要な人。
  • 読書アプリを開発する開発者 – レガシー PDF を取り込みたい人。
  • コンテンツクリエイター – 古い書籍を新しい言語に翻訳したい人。
  • 知識グラフプロジェクト(例:リンクされた Wiki Graph リポジトリ)– 要約やグラフを構築するためにクリーンなテキストが必要な人。

PDF Craft はオープンソース(MIT)であり、DeepSeek OCR、Unlimited OCR、および他のコミュニティライブラリに基づいています。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト