VectifyAI/PageIndex

解決する課題

ベクトルベースのRAGは、意味的な類似性に依存しているため、長くて複雑な専門文書の処理において苦戦することがよくあります。しかし、意味的な類似性が必ずしも関連性と一致するとは限りません。PageIndexは、類似性検索を人間が読む方法を模倣した推論ベースのアプローチに置き換えることで、この問題に対処し、検索がコンテキストを認識し、追跡可能であることを保証します。

仕組み

PageIndexは、ベクトルデータベースやチャンク分割を使用する代わりに、階層的なツリーインデックスを使用します。プロセスは主に2つのステップで構成されます。

1. インデックス: 各文書に対してツリー構造のインデックスが生成されます（レイアウトから抽出され、LLMによって洗練されます）。
2. 検索: LLMがこのツリーをエージェント的に検索し、類似したテキスト断片を探すのではなく、推論を通じて関連情報にたどり着きます。

対象ユーザー

財務報告書、法的文書、規制当局への提出書類、技術マニュアル、医学文献、学術教科書など、長くて複雑な専門文書を扱うユーザー向けに設計されています。

ハイライト

• ベクトルレスアーキテクチャ: ベクトルデータベースやテキストのチャンク分割が不要になります。
• 推論ベースの検索: ツリーインデックス上でのLLMの推論を使用して関連情報を検索します。
• 追跡可能な結果: 明示的な参照を提供するため、「感覚的な検索（vibe retrieval）」と比較して検索結果の説明が可能です。
• 柔軟なデプロイメント: テキストベースのPDF用のローカルモードと、OCR、画像理解、およびPageIndexファイルシステムを介したコーパスレベルのインデックス作成をサポートするクラウド版の両方を提供します。