Apple Faster Retrieval: RAG에서 상각 MIPS를 위한 학습된 SupportNet 및 KeyNet
핵심 요점
Apple의 Faster Retrieval 연구는 신경 라우터(클러스터별 지원 함수 점수를 위한 SupportNet 및 쿼리 재작성을 위한 KeyNet)가 최대 내적 검색(MIPS)에서 전통적인 중심점 기반 라우팅보다 우수함을 입증하며, 대규모 RAG 벤치마크에서 동일한 재현율에 대해 최대 8배 낮은 지연 시간을 달성합니다.
문제 상황: RAG에서의 MIPS 병목 현상
최대 내적 검색(MIPS)은 쿼리 벡터와의 내적을 최대화하는 키 벡터를 찾습니다. 검색 증강 생성(RAG)에서는 가장 잘 일치하는 문서가 프롬프트 앞에 추가됩니다. 키 데이터베이스에 수천 차원의 수백만 벡터가 포함된 경우, 전체 검색은 엄청나게 비용이 많이 듭니다.
전통적인 근사 MIPS 방법은 기하학적 인덱싱(예: IVF 클러스터링)에 의존합니다. 이는 쿼리 분포가 키 분포와 유사하다고 가정하지만, RAG에서는 쿼리가 짧은 사용자 질문이고 키가 긴 선별된 구절이므로 이 가정이 실패합니다. 결과적으로 중심점 기반 라우팅은 쿼리를 잘못 라우팅하여 실제 최근접 이웃을 놓칠 수 있습니다.
핵심 통찰: 지원 함수를 학습된 라우터로 사용
저자들은 쿼리 (q)에서 최대 내적 (\max_{k}, q\cdot k)로의 매핑이 키 집합의 지원 함수이며, 이는 볼록 분석에서 볼록 객체라는 점을 관찰합니다. 두 가지 속성이 중요합니다:
- 볼록성 – 지원 함수는 입력 볼록 신경망(ICNN)으로 근사할 수 있습니다.
- 기울기 = 최적 키 – (q)에서 지원 함수의 기울기는 최적 키 벡터를 제공합니다.
지원 함수 값(SupportNet) 또는 최적 키(KeyNet)를 직접 회귀하도록 신경망을 훈련함으로써, 시스템은 전체 검색 비용을 일회성 오프라인 훈련 단계로 상각합니다.
모델 제품군
SupportNet
각 클러스터에 대한 지원 함수를 학습합니다.
- 아키텍처: 느슨하게 제약된 ICNN.
- 출력: 해당 클러스터 내에서 가능한 최상의 내적을 나타내는 클러스터별 스칼라 점수.
- 사용 사례: 보정된 점수가 필요할 때(예: 재순위화 또는 임계값 설정) 고품질 라우팅.
KeyNet
쿼리를 최적 일치 키 벡터에 직접 매핑하도록 학습합니다.
- 아키텍처: 동차 함수에 대한 오일러 정리에서 파생된 일관성 손실이 있는 표준 피드포워드 네트워크.
- 출력: 대상 키에 이미 가까운 변환된 쿼리 벡터.
- 사용 사례: 추론 속도가 지배적이고 원시 키 근사로 충분할 때.
두 모델 모두 대상 분포에서 쿼리를 샘플링하고, 전체 MIPS를 수행하여 실제 점수 또는 키를 얻은 다음 해당 대상에 회귀하여 생성된 지도 데이터 세트로 훈련됩니다.
실험 설정
- 데이터 세트: Natural Questions(약 260만 개의 구절)를 128개의 클러스터로 분할.
- 모델 크기: XS, S, M, L은 데이터베이스 크기의 약 1%, 5%, 10%, 20%에 해당.
- 기준선: IVF 인덱스(FAISS 구현)의 중심점 라우팅.
- 메트릭: 라우팅 재현율(실제 클러스터가 프로브된 클러스터 중 하나인 쿼리의 비율) 및 지연 시간 또는 스캔된 데이터베이스 비율에 따른 전체 검색 재현율.
결과: SupportNet 라우팅
| 모델 | 95% 라우팅 재현율 지연 시간 | 97% 라우팅 재현율 지연 시간 |
|---|---|---|
| 중심점(기준선) | 3.36ms | – |
| SupportNet XS | 1.74ms | – |
| SupportNet L | 1.74ms (97% 재현율) | – |
- 지연 시간 조정 재현율: SupportNet은 중심점 라우터와 동일한 재현율을 최대 1.9배 빠르게 달성합니다.
- 품질 조정 재현율: 클러스터의 5%만 스캔할 때 SupportNet은 90–93%의 시간 동안 실제 파티션을 복구하는 반면, 중심점은 87.5%입니다.
이러한 이점은 모든 모델 크기에서 유지되며, 더 큰 모델은 완벽한 라우팅에 더 가까워집니다.
결과: KeyNet 쿼리 재작성
| 모델 | 99% 재현율 지연 시간 | 99% 재현율을 위해 스캔된 데이터베이스 비율 |
|---|---|---|
| 원시 쿼리(FAISS IVF) | 1.8ms | 0.10% |
| KeyNet L | 0.23ms | 0.009% |
- 지연 시간 감소: 가장 큰 KeyNet은 99% 재현율까지의 시간을 약 8배 줄입니다.
- 검색 예산 효율성: 데이터베이스의 0.001%만 스캔하여 KeyNet은 89–97% 재현율을 달성하여 원시 쿼리(86%)보다 우수합니다.
Natural Questions에 대한 정성적 예는 KeyNet 매핑 쿼리가 원시 쿼리보다 더 관련성 높은 상위 3개 결과를 표면화함을 보여줍니다.
실용적 지침
- KeyNet 사용 시기: 쿼리-키 매핑을 근사할 수 있고 다운스트림 인덱스가 이미 고도로 최적화된 지연 시간에 민감한 파이프라인에서.
- SupportNet 사용 시기: 보정된 유사도 점수가 필요하거나(예: 동적 재순위화) 모델 예산이 매우 제한적인 경우; 작은 SupportNet도 중심점을 능가합니다.
- 하이브리드 배포: 대규모 키 집합의 경우 2단계 시스템을 구축할 수 있습니다—SupportNet이 클러스터 하위 집합으로 라우팅한 다음 클러스터별 KeyNet이 표준 IVF 검색 전에 쿼리를 정제합니다.
두 모델 모두 기존 근사 검색 라이브러리(FAISS IVF 등)와 통합되며 쿼리 패턴의 약간의 분포 변화에도 견고합니다.
커뮤니티 반응 (Hacker News)
"Spotify의 Parallel Fusion Router는 교사 LLM을 사용하여 작은 라우터 LLM을 훈련합니다. 학습된 방법은 하이퍼스케일(수억 개 항목)에서 탁월하지만 수백만 개 항목의 경우 BM25 + LLM 프롬프팅이 여전히 승리합니다." – armcat
"검색 휴리스틱은 LLM에 편향을 줄 수 있습니다. 하드 라우터 없이 모델이 탐색하도록 하면 최종 품질이 더 높아질 수 있습니다." – comandillos
"Apple의 느린 접근 방식은 결국 온디바이스 개인 비서 AI를 구동하여 로컬 추론을 활용하여 개인 정보 보호 및 비용 이점을 얻을 수 있습니다." – lavendermon
이러한 의견은 학습된 라우터가 대규모에서 빛을 발하지만 전통적인 어휘 기반 방법이 더 작은 코퍼스에서 여전히 경쟁력이 있으며, 하드 라우팅으로 인한 편향은 속도 이점과 비교하여 평가해야 함을 강조합니다.
결론
Apple의 Faster Retrieval 논문은 상각 MIPS를 위한 원리적이고 볼록 분석 기반 프레임워크를 소개합니다. 실제 쿼리 분포에 대해 작은 SupportNet 및 KeyNet 모델을 훈련함으로써 접근 방식은 중심점 라우팅을 학습된 라우터로 대체하여 동일한 재현율에 대해 훨씬 낮은 지연 시간 또는 고정된 지연 시간 예산에 대해 더 높은 재현율을 제공합니다. 이 작업은 이론적 볼록 기하학과 실용적인 RAG 시스템을 연결하고 기존 IVF 스타일 인덱스에 통합할 수 있는 쿼리 인식 학습 검색 파이프라인으로의 경로를 엽니다.