xberg-io/xberg

The fast, precise document-intelligence engine for every language: text, tables and metadata from 100+ formats, with OCR, transcription and code intelligence.

解決する課題

Xbergは、多様なファイル形式から構造化データを抽出するために複数のライブラリを組み合わせた複雑なパイプラインを構築する必要性を排除するために設計された、包括的なドキュメントインテリジェンスエンジンです。ドキュメント、画像、音声、Webコンテンツなど、膨大な種類のデータに対して、形式の検出、読み取り、OCR、コンテンツ抽出を行うための単一で統一されたインターフェースを提供します。

仕組み

このエンジンは、ファイルのMIMEタイプの識別からコンテンツの抽出まで、取り込みプロセス全体を処理します。107種類のドキュメント形式（PDF、Officeファイル、電子書籍など）、複数のバックエンド（Tesseract、PaddleOCR、Candle、またはVLM）によるOCR、およびWhisper ONNXを使用した音声テキスト変換をサポートしています。また、URLのクロール、ネストされたアーカイブの再帰的な抽出、371種類のプログラミング言語に対する構文認識型のチャンク分割も可能です。抽出されたコンテンツは、MarkdownやJSONを含む6種類の形式で出力できます。

対象ユーザー

RAG（検索拡張生成）パイプライン、AIエージェント、または多種多様なソースから高精度なドキュメント解析と構造化データ抽出を必要とするアプリケーションを構築する開発者。

主な特徴

  • 膨大な形式サポート: 学術引用、電子メール、データベースを含む141種類のファイル拡張子、107種類の形式を処理します。
  • 多言語バインディング: Rust、Python、Node.js、Go、Java、C#、Ruby、PHP、Elixir、Dart、Swift、Zig、WASM、Kotlinを含む15言語で利用可能です。
  • AI対応機能: ローカルまたはホストされたLLMを介した埋め込み、リランキング、NER、要約、およびスキーマ駆動型のJSON抽出を組み込みでサポートしています。
  • 柔軟なデプロイ: ライブラリ、CLIツール、REST API、またはMCPサーバーとして実行可能で、デフォルトでCPU最適化されています。
  • 高度なレイアウト分析: MLモデルを使用して読み取り順序とテーブルグリッドを再構築し、クリーンなMarkdownを出力します。

関連

  • プロジェクト
    firecrawl/anydoc

    LLMへの取り込みやエージェントワークフロー向けに、様々なオフィスドキュメント形式をクリーンで一貫性のあるMarkdownに変換する高性能Rustライブラリ。

  • Dispatch
    Hugging Face が文書AIを加速

    Hugging Face は、オープンソースのマルチモーダルモデルを活用して、エンタープライズワークフローにおける文書分類、パーシング、ビジュアル質問応答を自動化するための包括的なガイドを提供しています。

  • プロジェクト
    docling-project/docling

    Doclingは、多くのドキュメントタイプ（PDF、Word、スライド、スプレッドシート、HTML、電子書籍、音声、動画、メールなど）を統一的で構造化された表現に解析するオープンソースのPythonライブラリ/CLIです。レイアウト、テーブル、コード、数式、画像、音声テキスト変換を抽出し、Markdown、HTML、JSON、DocLang、DocTagsなどにエクスポートします。生成AIワークフロー向けに設計されており、LangChain、LlamaIndex、Crew AI、Haystackとのプラグアンドプレイ統合を提供し、プライバシーに敏感なデータのためのローカル実行をサポートします。

  • プロジェクト
    PaddlePaddle/PaddleOCR

    PaddleOCRは、画像やPDFを構造化されたLLM対応テキスト、表、Markdown/JSONに変換するオープンソースのOCRおよびドキュメントAIツールキットです。PP-OCRv6による多言語シーンテキスト認識モデルと、PaddleOCR-VL / PP-StructureV3による軽量な視覚言語モデルを提供し、最先端の精度、高速なCPU/GPU推論、DockerからブラウザSDKまで幅広いデプロイオプションを備えています。DifyやRAGFlowなどのRAGプラットフォームと統合されており、AIエージェントや検索拡張生成パイプラインのデータエンジンとして活用されます。

  • プロジェクト
    DocAILab/XRAG

    XRAGは、Retrieval‑Augmented Generation（RAG）のためのオープンソースのベンチマーキングフレームワークです。ユーザーは、古典的なIRメトリクスとLLMベースの品質スコアを使用して、リトリーバー、埋め込み、LLM、オーケストレーターなどの個々のRAGコンポーネントを評価できます。特徴には、モジュラープラグインアーキテクチャ、OpenAI、Ollama、Hugging Faceモデルのサポート、CLI、インタラクティブテスト用のWeb UI、REST APIサービスが含まれます。pipでインストールし、TOMLファイルで設定し、ベンチマークを実行したり、合成QAデータを生成したりできます。RAGシステムを構築または比較する研究者やエンジニアに最適です。