SeekStorm/SeekStorm
SeekStorm: vector & lexical search - in-process library & multi-tenancy server, in Rust.
解决的问题
SeekStorm 提供了一种高性能的搜索解决方案,结合了向量(语义)搜索和词法(关键词)搜索。它解决了在单台通用服务器上实现毫秒以下搜索延迟和高吞吐量的需求,无需昂贵的集群或专用硬件加速器,同时支持数十亿规模的索引。
工作原理
SeekStorm 采用“双核”架构,包含两个独立的原生索引架构:用于词法搜索的倒排索引和用于向量搜索的 ANN(近似最近邻)索引。统一的查询规划器管理这些引擎,允许用户使用 Reciprocal Rank Fusion(RRF)合并结果,执行纯词法、纯向量或混合搜索。它使用 Rust 实现,并利用 x86-64 和 ARM 架构的 SIMD 硬件加速。
适用人群
专为需要快速、可扩展搜索引擎的开发者设计,可作为进程内库或多租户服务器使用。特别适用于需要实时搜索、复杂过滤或低尾延迟(P99)至关重要的高并发环境的应用场景。
主要亮点
- 混合搜索:在统一查询规划器下原生集成向量和词法搜索引擎。
- 极致性能:毫秒级延迟和高速索引速度(在笔记本电脑上最高可达 35K 文档/秒)。
- 集成推理:可使用 Model2Vec 自动从文本字段生成并索引嵌入向量。
- 实时索引:文档在索引后即可立即搜索,无需消耗资源的段合并操作。
- 高级搜索功能:支持分面搜索、地理邻近搜索、拼写容错和 N-gram 索引以实现短语搜索。
- 多租户服务器:包含 RESTful API、API 密钥管理以及用于索引管理的嵌入式 Web UI。
相关
- 项目
- 项目
- 项目
- 项目
- 项目