xberg: とは何であるか、どのような問題を解決し、なぜ注目を集めているのか

解決する問題

Xbergは、断片化された膨大なファイル形式から、構造化されたクリーンなテキストとメタデータを抽出するために設計されたコンテンツ・インテリジェンス・エンジンです。PDF、Officeドキュメント、画像、音声/ビデオ、ソースコードを扱うために、複数の異なるツールを使い分ける必要性を排除し、ドキュメント処理のための統一されたインターフェースを提供します。

仕組み

Rustのコア上に構築されたXbergは、96種類のファイル形式と306種類のプログラミング言語をサポートする単一のエンジンを提供します。インテリジェントなMIME検出と、大容量ファイル用のストリーミング機能を使用します。画像については、プラグイン可能なOCRバックエンド（Tesseract, PaddleOCR, Candle, または VLMs）を提供します。音声およびビデオについては、Whisper ONNXを使用して文字起こしを行います。ライブラリ、CLIツール、REST API、またはAIエージェント用のMCPサーバーとしてデプロイ可能です。

対象ユーザー

RAGパイプライン、AIエージェント、またはデータ抽出ワークフローを構築している開発者で、GPUを必要とせずに多様なドキュメントをマシンリーダブルな形式（MarkdownやJSONなど）に変換する必要がある方を対象としています。

ハイライト

• 膨大な形式サポート: Office、PDF、eBooks、Email、学術出版物を含む96の形式から抽出を行います。
• コード・インテリジェンス: 306の言語から関数、クラス、シンボルを抽出し、RAGのための構文を認識したチャンキングを行います。
• マルチランタイム・デプロイメント: 16の言語（Python, Node.js, Rust, Go, Javaなど）向けのネイティブバインディングとWASMサポートを提供します。
• Crawl & Recurse: URLを辿り、アーカイブや他のドキュメント内にネストされたドキュメントを抽出する能力を備えています。
• AI統合: LLMを活用した構造化抽出、埋め込み、およびエージェント型ワークフローのためのMCPサーバーを内蔵しています。