infiniflow/infinity

The AI-native database built for LLM applications, providing incredibly fast hybrid search of dense vector, sparse vector, tensor (multi-vector), and full-text.

What it solves

Infinity は AI ネイティブのデータベースで、LLM アプリケーションの複雑なデータ取得ニーズに対応するよう設計されています。ベクトル検索（意味的類似性）と全文検索（キーワードマッチ）といった、異なる検索タイプごとに別々のシステムが必要だった問題を、単一の高性能エンジンに統合することで解決します。

How it works

Infinity はハイブリッド検索のための統合システムを提供し、密集埋め込み、疎埋め込み、テンソル、全文検索をフィルタリングと組み合わせて利用できます。外部依存がない単一バイナリ構成で、デプロイがシンプルです。AI 開発者は Python モジュールとして直接組み込むか、Docker で別サーバとして実行できます。

Who it’s for

このプロジェクトは、RAG（Retrieval‑augmented Generation）アプリケーションを作成する AI 開発者向けです。具体例として、対話型 AI、コパイロット、レコメンダー、質問応答システムなどがあります。

Highlights

  • Hybrid Search Capabilities: Supports dense and sparse embeddings, tensors, and full-text search in one place.
  • High Performance: Achieves sub-millisecond query latency on million-scale vector datasets and high QPS for full-text search.
  • Advanced Reranking: Includes support for various rerankers, including ColBERT, RRF, and weighted sum.
  • Easy Deployment: Offered as a single-binary architecture or a Docker image for rapid setup.