sqliteai/sqlite-vector

해결하는 문제

SQLite-Vector는 SQLite 내부에서 생산 수준의 벡터 검색 기능을 직접 제공합니다. 외부 벡터 데이터베이스(예: FAISS 또는 Weaviate)나 복잡하고 시간이 오래 걸리는 사전 인덱싱 프로세스(예: HNSW 또는 DiskANN)가 필요 없으며, 엣지 AI, 모바일 앱, 개인정보 보호를 위한 오프라인 작업 환경에 이상적입니다.

작동 방식

크로스플랫폼 SQLite 확장으로 구현되어 있으며, 벡터를 일반 테이블의 표준 BLOB로 저장할 수 있습니다. 거리 계산에는 SIMD 가속을 지원하는 고도로 최적화된 C 구현을 사용합니다. 성능 향상과 메모리 사용량 감소를 위해 TurboQuant(저비트 스칼라 양자화기) 및 INT8, 1BIT 등의 다양한 양자화 기법을 사용하여 벡터를 완전히 재구성하지 않고도 스캔이 가능합니다.

대상 사용자

RAG(Retrieval-Augmented Generation) 또는 의미 기반 검색 애플리케이션을 개발하고 있으며, iOS, Android, Windows, Linux, macOS 또는 WASM를 통해 브라우저에서 작동하는 가벼운 임베디드 솔루션을 원하는 개발자들입니다.

주요 특징

• 사전 인덱싱 없음: 긴 전처리 단계 없이 즉시 검색을 시작할 수 있습니다.
• 일반 테이블 사용: 특수한 가상 테이블이 필요 없이 BLOB로 벡터를 저장할 수 있습니다.
• TurboQuant 지원: 2, 3, 4비트의 고효율 양자화 스캔을 지원합니다.
• 낮은 메모리 사용량: 기본적으로 RAM 사용량이 30MB로 제한됩니다.
• 크로스플랫폼: 모든 주요 운영체제 및 모바일 플랫폼에서 네이티브 지원됩니다.
• 오프라인 준비 완료: 개인정보 보호와 속도를 위해 완전히 디바이스 내에서 작동합니다.