infiniflow/infinity

The AI-native database built for LLM applications, providing incredibly fast hybrid search of dense vector, sparse vector, tensor (multi-vector), and full-text.

What it solves

Infinity 是一个 AI 原生的数据库，旨在处理 LLM 应用的复杂数据检索需求。它解决了需要多个独立系统分别处理不同搜索类型（如语义向量搜索和关键词全文搜索）的难题，将它们合并为单一高性能引擎。

How it works

Infinity 提供统一的混合搜索系统，允许用户将密集嵌入、稀疏嵌入、张量和全文搜索结合，并支持过滤。它采用单二进制文件架构，无外部依赖，简化部署。对于 AI 开发者，可直接作为 Python 模块嵌入，或通过 Docker 以独立服务器方式运行。

Who it’s for

本项目面向构建 RAG（检索增强生成）应用的 AI 开发者，典型场景包括对话式 AI、协作助理、推荐系统以及问答系统。

Highlights

  • Hybrid Search Capabilities: Supports dense and sparse embeddings, tensors, and full-text search in one place.
  • High Performance: Achieves sub-millisecond query latency on million-scale vector datasets and high QPS for full-text search.
  • Advanced Reranking: Includes support for various rerankers, including ColBERT, RRF, and weighted sum.
  • Easy Deployment: Offered as a single-binary architecture or a Docker image for rapid setup.