knowhere: エージェント型 RAG 用の階層グラフに非構造化データを変換するドキュメント メモリ レイヤー
knowhere: エージェント型 RAG 用の階層グラフに非構造化データを変換するドキュメント メモリ レイヤー
何が問題か
Knowhere は、AI エージェントが使用しにくい「汚れた」非構造化ドキュメント(複雑な PDF、Office ファイル、画像など)の問題に対処します。従来の RAG はこれらのドキュメントを孤立したテキスト スニペットに平坦化しがちで、これにより意味的コンテキストと階層が失われ、AI エージェントの応答の精度と信頼性が低下します。
どうやって動作するか
Knowhere は、ドキュメントを 2 つの主要な段階で処理するメモリ レイヤーとして機能します:
- パースとメモリ構築: 専用パーサー(例えば MinerU)を使用してマルチモーダル ファイルを取り込みます。その後、独自の木構造アルゴリズムがドキュメントの元の階層を再構築し、軽量メモリ グラフを構築します。これにより、チャンクは意味的コンテキストと関係を保持します。
- エージェント型検索: 単純なベクトル ルックアップではなく、AI エージェントは再構築されたセクション ツリーとグラフ リンクをナビゲートします。これにより、エージェントは人間の読者が行うように、ドキュメントの関連領域に「ドリルダウン」し、追跡可能なソース パスに基づいて引用を提供できます。
対象者
これは、高い検索精度と証拠に基づくトレーサビリティを維持しながら、複雑で長文またはマルチモーダルのドキュメントを処理する必要がある AI エージェントおよび Agentic RAG ワークフローを構築する開発者向けに設計されています。
ハイライト
- マルチモーダル サポート: VLMs を使用して表と画像を抽出および要約し、ソース テキストにリンクします。
- 階層の保存: ドキュメント構造を再構築し、意味の断片化を防ぎます。
- エージェント型ナビゲーション: 従来の検索 (RRF) とドキュメント ツリーおよびグラフの自律ナビゲーションを組み合わせます。
- 広範なフォーマット サポート: PDF、DOCX、PPTX、XLSX、CSV、画像、Markdown、テキストを処理します。
- モデルに依存しない: DeepSeek、Qwen、OpenAI などのさまざまな LLM/VLM プロバイダーをサポートします。