infiniflow/infinity

解决的问题

Infinity 解决了 LLM 应用（特别是检索增强生成 RAG）对高性能数据检索的需求。它解决了在单个快速数据库系统中管理和搜索多种数据类型（如密集与稀疏嵌入、张量及全文数据）的挑战。

工作原理

它作为一个支持混合搜索的 AI 原生数据库运行，允许用户将不同的搜索模态（密集、稀疏、张量及全文）与过滤条件相结合。它采用单二进制架构，便于部署，并提供直观的 Python API，可以作为模块嵌入或通过 Docker 作为独立服务器运行。

适用对象

该工具专为构建 LLM 驱动型应用（如对话式 AI、Copilot、推荐系统、问答系统及内容生成工具）的 AI 开发人员设计。

亮点

• 高性能：在百万级向量数据集上实现 0.1ms 的查询延迟，在 33M 文档的全文本搜索上实现 1ms 的延迟。
• 混合搜索：支持结合密集嵌入、稀疏嵌入、张量及全文搜索。
• 高级重排序：包括对 ColBERT、RRF 和加权求和等重排序器（rerankers）的支持。
• 开发者友好：提供无依赖的单二进制架构和专用的 Python SDK。