turbovec: 무엇인지, 어떤 문제를 해결하는지 & 왜 인기를 얻고 있는지

해결하는 문제

turbovec은 대규모 벡터 검색의 막대한 RAM 요구 사항을 줄이기 위해 설계된 고성능 벡터 인덱스입니다. 높은 검색 속도와 재현율(recall)을 유지하면서 수백만 개의 문서를 메모리의 아주 적은 부분(예: 31 GB 대신 4 GB에 1,000만 개의 문서 저장)에 담을 수 있게 해주어, 에어갭(air-gapped) 또는 메모리가 제한된 RAG 스택에 이상적입니다.

작동 방식

Google Research의 TurboQuant 알고리즘을 기반으로 구축된 이 프로젝트는 별도의 학습 단계가 필요 없는 데이터 무관(data-oblivious) 양자화기를 사용합니다. 프로세스는 다음과 같습니다:

1. 정규화 및 회전(Normalization and Rotation): 벡터는 단위 방향으로 정규화되고, 좌표 분포를 예측 가능하게 만들기 위해 무작위 직교 행렬(random orthogonal matrix)이 곱해집니다.
2. 교정(Calibration (TQ+)): 첫 번째 데이터 수집(ingestion) 중에 각 좌표에 이동(shift) 및 스케일(scale)을 맞추어 경험적 데이터를 표준 Beta 분포로 매핑합니다.
3. Lloyd-Max 양자화(Lloyd-Max Quantization): 좌표는 미리 계산된 최적의 경계값을 사용하여 2비트 또는 4비트 정수로 버킷화됩니다.
4. 길이 재정규화(Length-Renormalization): 양자화로 인해 발생하는 내적(inner product)의 체계적인 과소평가 문제를 수정하기 위해 벡터당 스칼라 값을 저장하여 편향되지 않은 점수 산출을 보장합니다.
5. SIMD 검색: 검색은 전체 압축 해제 없이 코드북 값에 대해 직접 점수를 매기는 수동 작성된 NEON (ARM) 및 AVX-512BW (x86) 커널을 사용하여 수행됩니다.

대상 사용자

개인정보 보호, 낮은 지연 시간, 메모리 효율성이 중요한 RAG 애플리케이션을 구축하는 개발자, 특히 로컬 또는 에어갭 환경을 사용하는 개발자에게 적합합니다.

주요 특징

• 온라인 수집(Online Ingest): 코퍼스(corpus)가 증가함에 따라 별도의 학습 단계, 파라미터 튜닝 또는 인덱스 재구축이 필요하지 않습니다.
• 극단적인 압축(Extreme Compression): 재현율 손실을 최소화하면서 최대 16배 압축(예: FP32에서 2비트)이 가능합니다.
• 높은 성능(High Performance): ARM에서는 FAISS IndexPQFastScan보다 10-19% 더 뛰어난 성능을 발휘하며, x86에서도 경쟁력 있는 성능을 유지합니다.
• 필터링 검색(Filtered Search): 허용 목록(allowlist)을 통한 검색 시점 필터링을 지원하며, 이는 불필요한 계산을 피하기 위해 SIMD 커널에 직접 통합되어 있습니다.
• 프레임워크 통합(Framework Integrations): LangChain, LlamaIndex, Haystack, Agno의 인메모리 벡터 저장소에 대한 드롭인 교체(drop-in replacement)가 가능합니다.
• 순수 로컬(Pure Local): 관리형 서비스가 없으며, 데이터는 로컬 머신 또는 VPC에 머무릅니다.