sqliteai/sqlite-vector

何を解決するか

SQLite-Vector は、SQLite 内部に本格的なベクトル検索機能を直接提供します。外部のベクトルデータベース（FAISS や Weaviate など）や、複雑で時間がかかる事前インデックス化プロセス（HNSW や DiskANN など）の必要性を排除し、エッジAI、モバイルアプリ、プライバシー保護のためのオフラインワークロードに最適です。

動作方法

クロスプラットフォーム対応の SQLite 拡張として実装されており、ベクトルを通常のテーブルの標準的な BLOB として格納できます。距離計算には高度に最適化された C 実装と SIMD 加速が使用されています。パフォーマンス向上とメモリ使用量削減のため、TurboQuant（低ビットスカラ量子化）や INT8、1BIT などの他の形式を含むさまざまな量子化技術を採用しており、ベクトルを完全に再構成せずにスキャンが可能になります。

対象ユーザー

RAG（検索拡張生成）や意味検索アプリを開発している開発者で、iOS、Android、Windows、Linux、macOS、または WASM を通じたブラウザ上で動作する軽量で埋め込み可能なソリューションを必要とする方々。

特徴

• 事前インデックス化不要：長時間の前処理フェーズなしに、即座に検索を開始できます。
• 通常のテーブル：特別な仮想テーブルを必要とせず、BLOB としてベクトルを格納できます。
• TurboQuant 対応：2、3、4ビットの高効率量子化スキャンをサポート。
• 低メモリ使用量：デフォルトで RAM 使用量が 30MB に制限されています。
• クロスプラットフォーム：すべての主要なオペレーティングシステムおよびモバイルプラットフォームでネイティブサポート。
• オフライン対応：プライバシーと高速性のため、完全にデバイス上で動作します。