infiniflow/infinity

解決する課題

Infinityは、LLMアプリケーション、特にRetrieval-augmented Generation (RAG) における高性能なデータ検索のニーズに応えます。高密度および疎な埋め込み、テンソル、全文検索といった多様なデータ型を、単一の高速なデータベースシステム内で管理・検索するという課題を解決します。

仕組み

ハイブリッド検索をサポートするAIネイティブデータベースとして機能し、ユーザーは異なる検索モダリティ（高密度、疎、テンソル、全文）をフィルタリングと組み合わせて使用できます。シングルバイナリアーキテクチャを採用しているためデプロイが容易で、直感的なPython APIを提供しており、モジュールとして組み込むことも、Docker経由で独立したサーバーとして実行することも可能です。

対象ユーザー

このツールは、対話型AI、コパイロット、レコメンダー、QAシステム、コンテンツ生成ツールなどのLLMを活用したアプリケーションを構築するAI開発者向けに設計されています。

ハイライト

• 高いパフォーマンス: 百万規模のベクトルデータセットで0.1msのクエリレイテンシ、33Mのドキュメントに対する全文検索で1msのレイテンシを実現。
• ハイブリッド検索: 高密度埋め込み、疎な埋め込み、テンソル、および全文検索の組み合わせをサポート。
• 高度なリランキング: ColBERT、RRF、加重和などのリランカーをサポート。
• 開発者フレンドリー: 依存関係のないシングルバイナリアーキテクチャと、専用のPython SDKを提供。