infiniflow/infinity

해결하는 문제

Infinity는 LLM 애플리케이션, 특히 Retrieval-augmented Generation (RAG)을 위한 고성능 데이터 검색 요구를 해결합니다. 밀집 및 희소 임베딩, 텐서, 전체 텍스트와 같은 다양한 데이터 유형을 단일 고속 데이터베이스 시스템 내에서 관리하고 검색하는 과제를 해결합니다.

작동 방식

하이브리드 검색을 지원하는 AI 네이티브 데이터베이스로 작동하여 사용자가 다양한 검색 모달리티(밀집, 희소, 텐서 및 전체 텍스트)를 필터링과 결합할 수 있도록 합니다. 단일 바이너리 아키텍처를 사용하여 배포가 간편하며, 직관적인 Python API를 제공하여 모듈로 임베딩하거나 Docker를 통해 별도의 서버로 실행할 수 있습니다.

대상 사용자

이 도구는 대화형 AI, 코파일럿, 추천 시스템, 질의응답 시스템 및 콘텐츠 생성 도구와 같은 LLM 기반 애플리케이션을 구축하는 AI 개발자를 위해 설계되었습니다.

주요 특징

• 고성능: 백만 규모의 벡터 데이터셋에서 0.1ms의 쿼리 지연 시간과 33M 문서에 대한 전체 텍스트 검색에서 1ms의 지연 시간을 달성합니다.
• 하이브리드 검색: 밀집 임베딩, 희소 임베딩, 텐서 및 전체 텍스트 검색의 결합을 지원합니다.
• 고급 리랭킹: ColBERT, RRF 및 가중치 합과 같은 리랭커 지원을 포함합니다.
• 개발자 친화적: 의존성이 없는 단일 바이너리 아키텍처와 전용 Python SDK를 제공합니다.