infiniflow/infinity

The AI-native database built for LLM applications, providing incredibly fast hybrid search of dense vector, sparse vector, tensor (multi-vector), and full-text.

What it solves

Infinity 是一個 AI 原生的資料庫，專為處理 LLM 應用的複雜資料檢索需求而設計。它解決了需要多套系統分別執行不同類型搜尋（例如語意向量搜尋與關鍵字全文搜尋）的問題，將這些功能整合於單一高效能引擎中。

How it works

Infinity 提供統一的混合搜尋系統，允許使用者將密集嵌入、稀疏嵌入、張量與全文搜尋結合，並支援過濾條件。它採用單一二進位檔架構，無需外部相依，簡化部署。對於 AI 開發者而言，可直接以 Python 模組方式嵌入，或透過 Docker 以獨立伺服器方式執行。

Who it’s for

此專案針對開發 RAG（檢索增強生成）應用的 AI 開發者打造，應用範例包括對話式 AI、協同助理、推薦系統與問答系統。

Highlights

Hybrid Search Capabilities: Supports dense and sparse embeddings, tensors, and full-text search in one place.
High Performance: Achieves sub-millisecond query latency on million-scale vector datasets and high QPS for full-text search.
Advanced Reranking: Includes support for various rerankers, including ColBERT, RRF, and weighted sum.
Easy Deployment: Offered as a single-binary architecture or a Docker image for rapid setup.