weaviate/weaviate

해결하는 문제

Weaviate는 객체와 벡터를 모두 저장할 수 있는 클라우드 네이티브 벡터 데이터베이스로, 대규모 의미 기반 검색을 가능하게 합니다. 키워드가 아닌 의미에 기반한 데이터 효율적 검색의 필요성을 해결하며, RAG 시스템, 추천 엔진, 챗봇과 같은 AI 기반 애플리케이션 개발에 필수적입니다.

작동 방식

Weaviate는 데이터를 객체로 가져오거나, 통합된 모델 제공자(OpenAI, Cohere, HuggingFace 등)를 사용해 자동으로 벡터화하거나, 사전 계산된 벡터 임베딩을 가져올 수 있습니다. 벡터 유사도 검색과 키워드 필터링(BM25) 및 재정렬을 단일 쿼리 인터페이스에서 결합하여 하이브리드 검색 기능을 제공합니다. 고성능을 위해 Go로 구현되었으며, 수평 확장, 복제, 멀티테넌시를 지원하여 프로덕션 환경에 적합합니다.

대상 사용자

고성능 의미 검색, 이미지 검색, 리트리버 증강 생성(RAG) 기능을 필요로 하는 AI 애플리케이션을 개발하는 개발자에게 적합합니다.

주요 특징

• 빠른 검색 성능: 수십억 개의 벡터에 대해 밀리초 단위로 복잡한 의미 검색 수행 가능.
• 유연한 벡터화: 통합 벡터화 도구와 자체 제공 임베딩 모두 지원.
• 고급 하이브리드 검색: 의미 검색, 키워드(BM25), 이미지 검색을 고급 필터링과 결합.
• 통합 RAG 및 재정렬: Q&A 시스템과 챗봇을 구동하는 내장 생성 검색 및 재정렬 기능.
• 프로덕션 준비 완료: 수평 확장, 멀티테넌시, 역할 기반 접근 제어(RBAC)를 네이티브로 지원.
• 비용 효율성: 내장된 벡터 압축(양자화 및 멀티벡터 인코딩)으로 메모리 사용량 감소.