infiniflow/infinity

해결하는 문제

Infinity는 LLM 애플리케이션의 고성능 검색 요구를 처리하도록 설계된 AI 네이티브 데이터베이스입니다. 밀집 및 희소 벡터, 텐서, 전체 텍스트와 같은 서로 다른 데이터 유형을 동시에 빠르게 검색해야 하는 과제를 해결합니다. 이는 고급 RAG(검색 증강 생성) 시스템에 필수적입니다.

작동 방식

Infinity는 Docker 또는 독립 실행형 바이너리로 배포할 수 있는 단일 바이너리 아키텍처로 작동합니다. 직관적인 Python API와 HTTP API를 제공하여 개발자가 데이터를 관리하고 하이브리드 검색을 수행할 수 있도록 합니다. ColBERT, RRF, 가중 합계 등 다양한 재순위화 방법을 지원하여 검색 결과를 개선합니다.

대상 사용자

검색 엔진, 추천 시스템, 질의응답 시스템, 대화형 AI 및 풍부한 데이터 유형의 저지연·고처리량 검색이 필요한 기타 RAG 기반 애플리케이션을 구축하는 AI 개발자를 위해 설계되었습니다.

주요 기능

• 하이브리드 검색: 밀집 임베딩, 희소 임베딩, 텐서, 전체 텍스트 검색을 필터링과 결합합니다.
• 고성능: 백만 규모 벡터 데이터셋에서 서브 밀리초 쿼리 지연 시간을 달성하고 전체 텍스트 검색에서 높은 QPS를 제공합니다.
• 배포 용이성: 종속성이 없는 단일 바이너리 아키텍처로, Docker 이미지 또는 Python 모듈로 사용할 수 있습니다.
• 풍부한 데이터 지원: 문자열, 숫자, 벡터, 구조화된 데이터를 처리합니다.