weaviate/weaviate

해결하는 문제

Weaviate는 객체와 해당 벡터 임베딩을 모두 저장하고 검색할 수 있도록 설계된 클라우드 네이티브 벡터 데이터베이스입니다. 대규모 의미 기반 검색을 가능하게 하여 키워드가 아닌 의미에 기반해 데이터를 찾을 수 있도록 하며, 전통적인 키워드 필터링과 하이브리드 검색도 지원합니다.

작동 방식

Weaviate는 데이터를 객체와 벡터로 저장합니다. 벡터 유사도 검색, 키워드 필터링(BM25), 리랭킹을 통합한 단일 쿼리 인터페이스를 제공합니다. 미리 계산된 벡터를 가져올 수도 있고, OpenAI, Cohere, HuggingFace 등의 통합 벡터라이저를 사용해 가져올 때 자동으로 데이터를 벡터화할 수 있습니다. 고성능을 위해 Go로 구현되었으며, 수평 확장, 멀티테넌시, 복제를 지원하여 생산 환경에 적합합니다.

대상 사용자

Retrieval-Augmented Generation(RAG) 시스템, 의미 및 이미지 검색 엔진, 추천 엔진, 챗봇, 콘텐츠 분류 도구 등을 개발하는 개발자들.

주요 특징

• 빠른 검색 성능: 수십억 개의 벡터에 대해 밀리초 단위 응답 시간.
• 유연한 벡터화: 통합 모델 제공자와 사용자 정의 사전 생성 임베딩 모두 지원.
• 고급 하이브리드 검색: 하나의 API 호출로 의미 기반, 키워드(BM25), 이미지 검색을 통합.
• 통합 RAG 및 리랭킹: Q&A 및 요약 생성에 적합한 내장형 생성 검색 및 리랭킹 기능.
• 생산 환경 대응: 멀티테넌시, RBAC 인증, 수평 확장에 내장된 지원.
• 비용 효율성: 벡터 압축 및 양자화를 포함하여 메모리 사용량을 줄입니다.