The-Vibe-Company/quivr

해결하는 문제

Quivr V2는 지속적인 콘텐츠 스트림을 검색 및 모니터링 가능한 지식 베이스로 변환하도록 설계된 오픈 소스 엔진입니다. 수집된 콘텐츠가 안정적으로 저장되고, 키워드 및 의미론적 검색을 위해 인덱싱되며, 특정 주제나 알림을 실시간으로 모니터링할 수 있도록 보장함으로써 대규모 비정형 데이터 관리 문제를 해결합니다.

작동 방식

Quivr V2는 데이터 수집, 강화 및 검색을 조정하는 모듈식 백엔드로 작동합니다. 트랜잭션 저장소에는 PostgreSQL, 원시 아티팩트를 위해서는 S3 호환 저장소, 하이브리드 검색(어휘 및 벡터)을 위해서는 Weaviate를 사용합니다. 이 시스템은 Go 기반의 모듈식 모놀리스로 구축되었으며, 내구성 있는 작업 조정을 위해 Temporal을 활용합니다. 콘텐츠가 수집되면 먼저 키워드 인덱싱을 통해 검색 가능하게 되며, 의미론적 강화(임베딩)는 백그라운드에서 수행됩니다. 이 시스템은 플러그인 아키텍처를 지원하여 사용자가 핵심 엔진을 수정하지 않고도 사용자 지정 커넥터, 정규화 도구 및 전달 채널을 추가할 수 있습니다.

대상 사용자

이 프로젝트는 높은 신뢰성, 데이터 내구성, 그리고 대규모의 진화하는 데이터 세트를 처리할 수 있는 능력이 필요한 맞춤형 RAG(검색 증강 생성) 애플리케이션, 콘텐츠 모니터링 시스템 또는 내부 검색 엔진을 구축해야 하는 개발자와 조직을 위한 것입니다.

주요 특징

• 내구성 있는 수집: 콘텐츠가 처리되기 전에 저장소에 커밋되도록 보장하여 중단 시 데이터 손실을 방지합니다.
• 하이브리드 검색: 빠른 키워드 검색과 의미론적 벡터 검색을 결합하여 포괄적인 검색을 제공합니다.
• 확장 가능한 플러그인 아키텍처: 핵심 기능이 도메인별 로직과 분리되어 있어 사용자 지정 커넥터 및 강화 도구를 추가할 수 있습니다.
• 멱등성 작업: 모든 쓰기 작업은 멱등성 키로 추적되어 프로세스가 다시 실행되더라도 일관된 결과를 보장합니다.
• 실시간 모니터링: 저장된 쿼리와 구독을 지원하여 새로운 콘텐츠가 특정 기준과 일치할 때 알림을 트리거합니다.
• 관측 가능성: 메트릭, 구조화된 로깅이 내장되어 있으며, OpenTelemetry를 지원하여 문서 수명 주기와 시스템 성능을 추적합니다.