infiniflow/infinity

解决的问题

Infinity 是一个 AI 原生的数据库，专为处理 LLM 应用的高性能检索需求而设计。它解决了同时且快速地搜索不同数据类型（如稠密和稀疏向量、张量及全文）的挑战，这对先进的检索增强生成（RAG）系统至关重要。

工作原理

Infinity 采用单一二进制架构，可通过 Docker 或独立二进制部署。它提供直观的 Python API 和 HTTP API，让开发人员管理数据并执行混合搜索。它支持多种重新排序方法，包括 ColBERT、RRF 和加权和，以优化搜索结果。

适用对象

专为创建搜索引擎、推荐系统、问答系统、对话式 AI 及其他需要低延迟、高吞吐检索丰富数据类型的 RAG 应用的 AI 开发人员而设计。

亮点

• 混合搜索：结合稠密嵌入、稀疏嵌入、张量及全文检索，并支持筛选。
• 高性能：在百万级向量数据集上实现亚毫秒查询延迟，并提供高 QPS 的全文检索。
• 易于部署：单一二进制架构，无依赖项，可作为 Docker 镜像或 Python 模块使用。
• 丰富数据支持：处理字符串、数值、向量及结构化数据。