Apple Faster Retrieval:用于RAG中摊销MIPS的学习型SupportNet与KeyNet
要点
Apple的Faster Retrieval研究表明,神经路由器——用于簇级支持函数评分的SupportNet和用于查询重写的KeyNet——在最大内积搜索(MIPS)中优于传统的基于质心的路由,在大规模RAG基准测试中,在相同召回率下实现了高达8倍的延迟降低。
问题背景:RAG中的MIPS瓶颈
最大内积搜索(MIPS)找到与查询向量内积最大的键向量。在检索增强生成(RAG)中,最佳匹配文档被添加到提示词之前。当键数据库包含数百万个数千维的向量时,穷举搜索变得极其昂贵。
传统的近似MIPS方法依赖于几何索引(例如IVF聚类)。它们假设查询分布与键分布相似,但这一假设在RAG中不成立,因为RAG中查询是简短的用户问题,而键是长篇的精选段落。因此,基于质心的路由可能错误路由查询,错过真正的最近邻。
核心洞察:支持函数作为学习型路由器
作者观察到,从查询(q)到最大内积(\max_{k}, q\cdot k)的映射是键集的支持函数,这是凸分析中的一个凸对象。两个关键性质至关重要:
- 凸性 – 支持函数可以通过输入凸神经网络(ICNN)近似。
- 梯度 = 最佳键 – 支持函数在(q)处的梯度产生最优键向量。
通过训练神经网络回归支持函数值(SupportNet)或直接回归最优键(KeyNet),系统将穷举搜索的成本摊销到一次性的离线训练阶段。
模型家族
SupportNet
学习每个簇的支持函数。
- 架构:松散约束的ICNN。
- 输出:每个簇的标量分数,表示该簇内可能的最佳内积。
- 用例:当需要校准分数(例如重新排序或阈值化)时的高质量路由。
KeyNet
学习将查询直接映射到其最佳匹配键向量。
- 架构:标准前馈网络,带有由齐次函数欧拉定理推导的一致性损失。
- 输出:已经接近目标键的变换查询向量。
- 用例:当推理速度占主导且原始键近似足够时。
两个模型都在监督数据集上训练,该数据集通过从目标分布中采样查询、执行穷举MIPS获得真实分数或键,并回归到这些目标来生成。
实验设置
- 数据集:Natural Questions(约260万段落)分为128个簇。
- 模型大小:XS、S、M、L,分别对应数据库大小的约1%、5%、10%、20%。
- 基线:IVF索引中的质心路由(FAISS实现)。
- 指标:路由召回率(查询的真实簇位于被探测簇中的比例)和总体检索召回率,作为延迟或扫描数据库比例的函数的。
结果:SupportNet路由
| 模型 | 95%路由召回延迟 | 97%路由召回延迟 |
|---|---|---|
| 质心(基线) | 3.36毫秒 | – |
| SupportNet XS | 1.74毫秒 | – |
| SupportNet L | 1.74毫秒(97%召回率) | – |
- 延迟调整召回率:SupportNet在高达1.9倍更快的速度下实现与质心路由器相同的召回率。
- 质量调整召回率:仅扫描5%的簇,SupportNet在90–93%的时间内恢复真实分区,而质心为87.5%。
这些增益在所有模型大小中保持一致;更大的模型进一步缩小了与完美路由的差距。
结果:KeyNet查询重写
| 模型 | 99%召回延迟 | 扫描数据库比例(99%召回) |
|---|---|---|
| 原始查询(FAISS IVF) | 1.8毫秒 | 0.10% |
| KeyNet L | 0.23毫秒 | 0.009% |
- 延迟降低:最大的KeyNet将99%召回的时间减少了约8倍。
- 搜索预算效率:仅扫描数据库的0.001%,KeyNet实现89–97%的召回率,优于原始查询(86%)。
在Natural Questions上的定性示例显示,与原始查询相比,KeyNet映射的查询产生了更多相关的前3个结果。
实用指南
- 何时使用KeyNet:在延迟关键的管道中,当查询到键的映射可以近似且下游索引已经高度优化时。
- 何时使用SupportNet:当需要校准的相似度分数(例如动态重新排序)或模型预算极其紧张时;小型SupportNet仍然优于质心。
- 混合部署:对于大规模键集,可以构建两阶段系统——SupportNet路由到簇子集,然后每个簇的KeyNet在标准IVF搜索之前细化查询。
两个模型都与现有的近似搜索库(FAISS IVF等)集成,并且对查询模式的适度分布偏移具有鲁棒性。
社区反应(Hacker News)
“Spotify的Parallel Fusion Router使用教师LLM训练小型路由器LLM。学习方法在超大规模(数亿个项目)中表现出色,但对于几百万个项目,BM25 + LLM提示仍然获胜。” – armcat
“检索启发式方法可能使LLM产生偏差;让模型在没有硬路由器的情况下探索有时会产生更高的最终质量。” – comandillos
“Apple的慢热方法可能最终为设备上的个人助理AI提供动力,利用本地推理获得隐私和成本优势。” – lavendermon
这些评论强调,虽然学习型路由器在大规模下表现出色,但传统的词法方法在较小的语料库中仍然具有竞争力,并且硬路由引入的偏差必须与速度增益进行权衡。
结论
Apple的Faster Retrieval论文介绍了一个基于凸分析原理的摊销MIPS框架。通过在真实查询分布上训练小型SupportNet和KeyNet模型,该系统用学习型路由器取代了质心路由,在相同召回率下显著降低延迟,或在固定延迟预算下提高召回率。这项工作弥合了理论凸几何与实际RAG系统之间的差距,并为查询感知的学习型检索管道开辟了道路,这些管道可以插入现有的IVF风格索引中。