PageIndex: とは何なのか、どのような問題を解決し、なぜ注目を集めているのか

解決する問題

PageIndexは、従来のベクトルベースのRetrieval-Augmented Generation (RAG)に見られる精度と説明可能性の問題を解決します。言葉遣いが似ているもののクエリとは無関係な結果を返してしまう可能性がある意味的類似性に頼るのではなく、PageIndexは、長く専門的な文書に対する推論ベースの検索を通じて、真の関連性に焦点を当てます。

仕組み

PageIndexは、ベクトルデータベースと人工的なチャンキングを、階層的なツリーインデックスに置き換えます。プロセスは主に2つのステップで行われます：

1. Tree Index Generation: 長い文書（PDFやMarkdownファイルなど）を意味的な「目次」ツリー構造に変換し、内容を自然なセクションに整理します。恣意的なチャンクではなく、自然なセクションとして構成されます。
2. Reasoning-based Retrieval: LLMを使用してエージェンティックなツリー検索を実行し、人間の専門家が特定の情報を探すためにどのように文書をナビゲートするかをシミュレートします。これにより、検索プロセスが追跡可能になり、明示的なページやセクションの参照に基づいたものになります。

対象ユーザー

金融報告書、法的文書、規制文書、技術マニュアル、学術教科書など、複雑で長い形式の専門的な文書を扱うユーザー向けに設計されています。

ハイライト

• Vectorless Architecture: ベクトルデータベースの必要性と、チャンキング戦略の複雑さを排除します。
• High Accuracy: 金融文書のQAベンチマークであるFinanceBenchにおいて、98.7%の精度を達成しました。
• Traceable Results: すべての検索は推論に基づき、特定の文書参照に基づいているため、「vibe retrieval（感覚的な検索）」を回避します。
• Context-Aware: 検索は会話の履歴とドメイン知識に基づいて適応します。
• Flexible Deployment: セルフホスト可能なオープンソースツール、API/MCP経由のクラウドサービス、またはエンタープライズ展開が可能です。