benchen4395/alpha_agentic_search

解決する課題

Alpha Agentic Search (AAS) は、従来のAI検索エージェントにおける不安定性、高レイテンシ、永続性の欠如に対処します。構造化されたマルチエージェントパイプラインと階層型メモリシステムを実装することで、純粋に研究指向で高レイテンシな自己進化型エージェントの欠点を回避し、「使えば使うほど強くなる」Perplexityに似た検索体験を実現することを目指しています。

仕組み

システムは古典的な Route → Rewrite → Retrieve → Verify → Summary パイプラインに従います：

1. ルーティング: ルーターは、クエリが専門ツール（例：天気、GitHub、arXiv）で処理できるか、または検索パイプラインが必要かを判断します。
2. クエリ書き換え: 検索前に、クエリに時間と場所のコンテキストを含めるように書き換えられます。
3. 階層型RAG（L1–L5）: システムは5つのレイヤーから並列に情報を取得します：
   • L1（QAキャッシュ）: ミリ秒単位の応答のための高頻度Q&A。
   • L2（常識）: 一般的な知識のためのWikipediaベースのベクトルインデックス。
   • L3（履歴）: ユーザーの好みを捉えるための、過去の成功した回答の増分FAISSインデックス。
   • L4（ウェブ）: TavilyやSerperなどのプロバイダーによるリアルタイムウェブ検索。
   • L5（ナレッジグラフ）: マルチホップクエリのためのWikidataベースの構造化事実。
4. 融合とキャリブレーション: 結果はReciprocal Rank Fusion (RRF) を使用してマージされ、Plattスケーリングによって統一された信頼スコアにキャリブレーションされます。「クォータベース」の融合を使用して、単一のクエリ内の複数のエンティティがすべて表現されることを保証します。
5. 要約と帰属: LLMが引用付きの最終回答を生成し、その後「引用幻覚」を防ぐために検証されます。

対象読者

• AI検索初心者: 安定した、文書化されたフレームワークから始めたい人。
• AIエンジニア: レイテンシ管理と安全ガードを備えた本番対応の検索エージェントを実装したい開発者。
• AI検索アーキテクト: 階層型メモリRAGとナレッジグラフにおけるエンティティ曖昧性解消に興味がある専門家。

ハイライト

• 5層メモリスタック: 包括的な検索のために、キャッシュ、Wikipedia、ユーザー履歴、ライブウェブ、ナレッジグラフを組み合わせます。
• 信頼度キャリブレーション: 多様なスコアリング指標（コサイン、ランク、ハイブリッド）を、関連性の統一された確率にマッピングします。
• レイテンシ管理: フロントエンドの応答時間に上限を設けるために、レイヤー固有の予算と「ソフトタイムアウト」を実装します。
• プロンプトインジェクション保護: 信頼できないウェブコンテンツを保護するための3層防御（クリーニング、XMLタグ付け、システムプロンプトガード）。
• エンティティ曖昧性解消: 人気度（入次数）とコンテキストシグナルの組み合わせを使用して、同じ名前のエンティティを区別します。
• 自己改善: 成功した回答をL1とL3に非同期でアーカイブし、将来の同一または類似のクエリを高速化します。