SeekStorm/SeekStorm

解決する課題

SeekStorm は、ベクトル検索と語彙（キーワード）検索の両方に対してサブミリ秒のレイテンシを提供するように設計された高性能検索エンジンです。高価なクラスターや専用ハードウェアアクセラレータを必要とせず、単一のコモディティサーバー上で数十億規模のインデックスを処理できる統合検索システムのニーズに対応し、大量のインデックス作成中も安定したパフォーマンスを維持します。

仕組み

SeekStorm は「ツインコア」アーキテクチャを採用し、2 つの独立したネイティブインデックスアーキテクチャを使用します。語彙関連性用の転置インデックスと、ベクトル類似度用の ANN（近似最近傍）インデックスです。クエリプランナーは、Reciprocal Rank Fusion（RRF）などのさまざまなフュージョンタイプを使用してこれらの結果を組み合わせる方法を決定し、ハイブリッド検索機能を提供します。Rust で記述されており、x86-64 および AArch64 アーキテクチャの両方で SIMD ハードウェアアクセラレーションを利用します。

対象ユーザー

検索集約型アプリケーション、RAG（検索拡張生成）システム、またはさまざまなプラットフォーム（Windows、Linux、MacOS）で大規模なデータセットに対してリアルタイムの低レイテンシ検索を必要とするサービスを構築する開発者を対象としています。

ハイライト

• ハイブリッド検索: 単一のクエリプランナーの下でベクトル検索エンジンと語彙検索エンジンをネイティブに統合。
• パフォーマンス: サブミリ秒のクエリレイテンシと高スループットのシャーディングインデックス（ラップトップで毎秒最大 35K ドキュメント）。
• 統合推論: Model2Vec を使用してテキストフィールドから直接埋め込みを生成およびインデックス化する機能。
• 多様性: インプロセスライブラリとマルチテナンシー REST サーバーの両方として利用可能で、Rust、Python、C#、Java、TypeScript 用の SDK を提供。
• 高度な検索機能: ファセット検索、地理的近接検索、タイポ許容、ドキュメントが即座に検索可能になるリアルタイムインデックスをサポート。
• スケーラビリティ: 低 RAM 消費で数十億規模のインデックスをサポートし、リソース集約的なセグメントマージを必要としません。