run-llama/liteparse

A fast, helpful, and open-source document parser

何を解決するか

LiteParse は高速で軽量な、スタンドアロンのオープンソース PDF パーサーです。クラウド依存やプロプライエタリな LLM 機能を必要とせずに、ローカルで高品質な空間テキストと構造を抽出する問題を解決します。

動作方法

Rust コアで構築された LiteParse は、PDFium を使って高速なテキスト抽出を行い、グリッド投影システムで空間レイアウトを再構成します。LibreOffice や Rust ベースの画像クレートを介して、PDF、DOCX、XLSX、PPTX、画像など複数の入力形式を変換することで対応しています。OCR を必要とする文書には、組み込みの Tesseract エンジンまたは標準 HTTP API を通じて外部 OCR サーバー（EasyOCR や PaddleOCR など）を統合可能です。その後、ページをブロック（見出し、表、リストなど）に分類し、構造化された Markdown、JSON、またはプレーンテキストを出力します。

対象ユーザー

RAG パイプラインや LLM エージェントを開発する開発者向けです。クラウドサービスの遅延やコストを避けつつ、正確なバウンディングボックスと構造化出力を提供するローカルで高性能なドキュメントパーサーが必要な方々に最適です。

特徴

  • 高パフォーマンス: 1ページあたりの空間テキスト解析は通常 2–5ms です。
  • ローカル実行: Linux、macOS、Windows でユーザーのマシン上で完全に実行可能。
  • 多言語対応: Rust、Node.js/TypeScript、Python、ブラウザ（WASM）向けのライブラリと CLI ツールを提供。
  • 柔軟な OCR: セットアップ不要の Tesseract をバンドルし、標準 API を通じてカスタム OCR サーバーもサポート。
  • 構造化出力: テーブルや見出しを含む Markdown、JSON、プレーンテキストを生成。テキストおよびレイアウトブロックの正確なバウンディングボックスも出力。
  • エージェント対応: エージェントスキルとして統合可能で、LLM エージェント用の高品質なページスクリーンショットも生成。

関連

  • プロジェクト
    docling-project/docling-parse

    Docling Parse は高速で構成可能なPDF解析ライブラリ（Python API と C++ コア）で、テキスト、単語、行、ベクターシェイプ、ビットマップ画像とその座標を抽出します。シーケンシャルおよびマルチスレッド解析をサポートし、ページごとに計算・マテリアライズする内容を選択可能。レンダリングユーティリティも備え、レイアウトに配慮したドキュメントデータをAIワークフローに最適化しています。

  • プロジェクト
    arcships/light-ocr

    light‑ocrは、Node.jsおよびC++向けのクロスプラットフォームなオフラインOCRライブラリです。モデル、PDFレンダラー、中国語フォントを単一のnpmパッケージにバンドルしており、macOS、Linux、Windows向けのネイティブバイナリを提供します。また、Core MLやWebGPUによる推論の高速化が可能です。APIは信頼度スコアと四角形の座標を含むテキスト行を返し、CLIによるコマンドライン操作もサポートしています。モデルサイズは6 MBのTinyから139 MBのMediumまであり、すべてApache 2.0ライセンスで提供されます。

  • プロジェクト
    firecrawl/pdf-inspector

    pdf-inspectorは、Rustベースのライブラリ（Python、Node、WASMバインディングを提供）で、PDFを高速に分類し、位置情報を保持したテキストを抽出し、クリーンなMarkdownに変換します。OCRが必要なページのみをローカルモデルにルーティングできるため、時間とコストを節約できます。ベンチマークでは、200個のPDFテストセットにおいて、類似ツールよりも高速かつ高精度であることが示されています。

  • プロジェクト
    drmingler/smart-llm-loader

    OCR と LLM 駆動のセマンティック チャンキング を使用して、ドキュメントとスキャン画像をクリーンで構造化された Markdown チャンクに変換する Python パッケージ。RAG システム向け。

  • プロジェクト
    PaddlePaddle/PaddleOCR

    PaddleOCRは、画像やPDFを構造化されたLLM対応テキスト、表、Markdown/JSONに変換するオープンソースのOCRおよびドキュメントAIツールキットです。PP-OCRv6による多言語シーンテキスト認識モデルと、PaddleOCR-VL / PP-StructureV3による軽量な視覚言語モデルを提供し、最先端の精度、高速なCPU/GPU推論、DockerからブラウザSDKまで幅広いデプロイオプションを備えています。DifyやRAGFlowなどのRAGプラットフォームと統合されており、AIエージェントや検索拡張生成パイプラインのデータエンジンとして活用されます。