VexDB-THU/VexDB-Lite

解決する課題

VexDB-Liteは、PostgreSQL、DuckDB、SQLiteを含む一般的なデータベースエンジンに対して、高性能なベクトル類似性検索機能を提供します。既存のデータベースエコシステム内での効率的な近似最近傍（ANN）検索とベクトルストレージのニーズに対応し、標準的なベクトル拡張に代わる、より優れたパフォーマンスと圧縮オプションを提供します。

仕組み

このプロジェクトは、3つのデータベースバックエンドすべてで共有されるカスタムグラフベースのインデックスアルゴリズムを実装しています。パフォーマンスとメモリ使用率を最適化するために、以下を採用しています：

• SIMD Distance Dispatch: 高速な計算のために、コンパイル時に最適化されインライン化された距離関数。
• 量子化: Product Quantization (PQ) と RaBitQ をサポートしてベクトルを圧縮し、メモリフットプリントを削減し、量子化コードのみを保持する「コンパクト」なストレージモードを可能にします。
• Vector Buffer Cache: ベクトルアクセスを加速し、ディスクI/Oを削減するための共有メモリキャッシュ。
• データベース統合: 拡張機能（PostgreSQL/DuckDB）または仮想テーブル（SQLite）として統合され、ユーザーがL2、cosine、inner productなどの距離演算子を使用した標準的なSQLクエリでベクトル検索を実行できるようにします。

対象ユーザー

• PostgreSQL、DuckDB、またはSQLiteにベクトル検索を追加したいデータベース管理者および開発者。
• リレーショナルデータベースに統合された高性能なベクトルストアを必要とする、RAG (Retrieval-Augmented Generation) システムを構築するAIエンジニア。
• SQLiteを介して効率的なベクトル検索を必要とする、エッジまたはモバイルプラットフォーム (iOS, Android, WASM) をターゲットとする開発者。

ハイライト

• マルチバックエンドサポート: PostgreSQL、DuckDB、SQLiteをサポートする単一のコアエンジン。
• 高度な量子化: 大幅なメモリ削減を実現する RaBitQ と PQ を搭載。
• 高いスループット: ベンチマークでは、pgvector や duckdb-vss よりも高い QPS を示しています。
• 幅広いプラットフォーム互換性: Linux、macOS、iOS、Android、WASM 用のビルド済みパッケージ。