infiniflow/infinity

解決的問題

Infinity 解決了 LLM 應用（特別是檢索增強生成 RAG）對高性能數據檢索的需求。它解決了在單一快速資料庫系統中管理與搜尋多種數據類型（如密集與稀疏嵌入、張量及全文數據）的挑戰。

工作原理

它作為一個支援混合搜尋的 AI 原生資料庫運作，允許使用者將不同的搜尋模態（密集、稀疏、張量及全文）與過濾條件結合。它採用單一二進位制架構，便於部署，並提供直覺的 Python API，可以作為模組嵌入或透過 Docker 作為獨立伺服器執行。

適用對象

此工具專為構建 LLM 驅動型應用（如對話式 AI、Copilot、推薦系統、問答系統及內容生成工具）的 AI 開發人員設計。

亮點

• 高性能：在百萬級向量數據集上實現 0.1ms 的查詢延遲，在 33M 文件全文搜尋上實現 1ms 的延遲。
• 混合搜尋：支援結合密集嵌入、稀疏嵌入、張量及全文搜尋。
• 進階重排序：包括對 ColBERT、RRF 及加權求和等重排序器（rerankers）的支援。
• 開發者友善：提供無依賴的單一二進位制架構與專用的 Python SDK。