Apple Faster Retrieval: 学習されたSupportNetとKeyNetによるRAGの償却MIPS
要点
AppleのFaster Retrieval研究は、ニューラルルーター(クラスタ単位のサポート関数スコアリング用のSupportNetとクエリ書き換え用のKeyNet)が、最大内積探索(MIPS)において従来のセントロイドベースのルーティングを上回り、大規模RAGベンチマークで同じ再現率を達成しながら最大8倍のレイテンシ削減を実現することを実証しています。
問題の背景: RAGにおけるMIPSボトルネック
最大内積探索(MIPS)は、クエリベクトルとの内積を最大化するキーベクトルを見つけます。検索拡張生成(RAG)では、最適な一致文書がプロンプトに前置されます。キーデータベースに数百万のベクトルが数千次元で含まれる場合、網羅的探索は非現実的に高コストになります。
従来の近似MIPS手法は、幾何学的インデックス(例: IVFクラスタリング)に依存しています。これらはクエリ分布がキー分布に類似していると仮定しますが、この仮定はRAGでは成立しません。RAGではクエリは短いユーザー質問であり、キーは長い厳選されたパッセージです。その結果、セントロイドベースのルーティングはクエリを誤ってルーティングし、真の最近傍を見逃す可能性があります。
核心的洞察: サポート関数を学習されたルーターとして使用
著者らは、クエリ(q)から最大内積(\max_{k}, q\cdot k)への写像が、キー集合のサポート関数(凸解析における凸オブジェクト)であることを観察します。重要な性質は次の2つです:
- 凸性 – サポート関数は入力凸ニューラルネットワーク(ICNN)で近似可能。
- 勾配 = 最適キー – サポート関数の(q)における勾配は、最適なキーベクトルを与える。
サポート関数値(SupportNet)または最適キー(KeyNet)を直接回帰するようにニューラルネットワークをトレーニングすることで、システムは網羅的探索のコストをオフラインのトレーニングフェーズに償却します。
モデルファミリー
SupportNet
各クラスタのサポート関数を学習します。
- アーキテクチャ: 緩く制約されたICNN。
- 出力: 各クラスタ内で可能な最良の内積を表すスカラースコア。
- 使用例: 校正されたスコアが必要な場合(例: 再ランキングやしきい値処理)の高品質ルーティング。
KeyNet
クエリを最適なキーベクトルに直接マッピングすることを学習します。
- アーキテクチャ: 同次関数のオイラーの定理から導出された整合性損失を持つ標準的なフィードフォワードネットワーク。
- 出力: ターゲットキーにすでに近い変換済みクエリベクトル。
- 使用例: 推論速度が支配的で、生のキー近似で十分な場合。
両モデルは、ターゲット分布からクエリをサンプリングし、網羅的MIPSを実行してグラウンドトゥルースのスコアまたはキーを取得し、それらのターゲットに回帰することで生成された教師ありデータセットでトレーニングされます。
実験設定
- データセット: Natural Questions(約260万パッセージ)を128クラスタに分割。
- モデルサイズ: XS、S、M、L(データベースサイズの約1%、5%、10%、20%に対応)。
- ベースライン: IVFインデックス(FAISS実装)でのセントロイドルーティング。
- メトリクス: ルーティング再現率(真のクラスタがプローブされたクラスタに含まれるクエリの割合)と、レイテンシまたはスキャンされたデータベースの割合の関数としての全体的な検索再現率。
結果: SupportNetルーティング
| モデル | 95%ルーティング再現率レイテンシ | 97%ルーティング再現率レイテンシ |
|---|---|---|
| セントロイド(ベースライン) | 3.36 ms | – |
| SupportNet XS | 1.74 ms | – |
| SupportNet L | 1.74 ms(97%再現率) | – |
- レイテンシ調整済み再現率: SupportNetはセントロイドルーターと同じ再現率を最大1.9倍高速に達成。
- 品質調整済み再現率: クラスタの5%のみをスキャンする場合、SupportNetは真のパーティションを90〜93%の確率で回復し、セントロイドの87.5%を上回ります。
これらの利点はすべてのモデルサイズで維持され、より大きなモデルは完全なルーティングへのギャップをさらに縮めます。
結果: KeyNetクエリ書き換え
| モデル | 99%再現率レイテンシ | 99%再現率のためにスキャンされたデータベースの割合 |
|---|---|---|
| 生クエリ(FAISS IVF) | 1.8 ms | 0.10% |
| KeyNet L | 0.23 ms | 0.009% |
- レイテンシ削減: 最大のKeyNetは99%再現率までの時間を約8倍短縮。
- 検索予算効率: データベースの0.001%のみをスキャンする場合、KeyNetは89〜97%の再現率を達成し、生クエリ(86%)を上回ります。
Natural Questionsでの定性的な例は、KeyNetマッピングされたクエリが生クエリと比較してより関連性の高いトップ3ヒットを表面化することを示しています。
実用的なガイダンス
- KeyNetを使用する場合: クエリからキーへのマッピングを近似でき、ダウンストリームインデックスがすでに高度に最適化されているレイテンシ重視のパイプライン。
- SupportNetを使用する場合: 校正された類似度スコアが必要な場合(例: 動的再ランキング)や、モデル予算が非常に厳しい場合。小さなSupportNetでもセントロイドを上回ります。
- ハイブリッド展開: 大規模なキーセットの場合、2段階システムを構築できます。SupportNetがクラスタのサブセットにルーティングし、その後クラスタごとのKeyNetが標準のIVF検索の前にクエリを洗練します。
両モデルは既存の近似検索ライブラリ(FAISS IVFなど)と統合でき、クエリパターンの適度な分布シフトに対して堅牢です。
コミュニティの反応(Hacker News)
「SpotifyのParallel Fusion Routerは、教師LLMを使用して小さなルーターLLMをトレーニングしています。学習された手法はハイパースケール(数億アイテム)で優れていますが、数百万アイテムではBM25 + LLMプロンプティングが依然として勝ります。」 – armcat
「検索ヒューリスティックはLLMにバイアスをかける可能性があります。ハードルーターなしでモデルに探索させると、最終的な品質が高くなることがあります。」 – comandillos
「Appleのゆっくりとしたアプローチは、最終的にオンデバイスのパーソナルアシスタントAIを強化し、ローカル推論を活用してプライバシーとコストの利点を提供するかもしれません。」 – lavendermon
これらのコメントは、学習されたルーターがスケールで輝く一方で、従来の語彙ベースの手法が小規模なコーパスでは依然として競争力があり、ハードルーティングによって導入されるバイアスを速度の利点と比較検討する必要があることを強調しています。
結論
AppleのFaster Retrieval論文は、償却MIPSのための原理的で凸解析駆動のフレームワークを導入します。実際のクエリ分布で小さなSupportNetとKeyNetモデルをトレーニングすることにより、このアプローチはセントロイドルーティングを学習されたルーターに置き換え、同じ再現率で大幅に低いレイテンシ、または固定レイテンシ予算でより高い再現率を提供します。この研究は理論的な凸幾何学と実用的なRAGシステムを橋渡しし、既存のIVFスタイルのインデックスにドロップインできるクエリ認識型の学習された検索パイプラインへの道を開きます。