The-Vibe-Company/quivr

解决的问题

Quivr V2 是一个开源引擎，旨在将连续的内容流转化为可搜索和可监控的知识库。它通过确保摄入的内容被持久化存储、建立关键词和语义搜索索引，并实时监控特定主题或警报，解决了管理海量非结构化数据的问题。

工作原理

Quivr V2 作为一个模块化后端，负责编排数据摄入、增强和检索。它使用 PostgreSQL 进行事务存储，使用 S3 兼容存储存放原始制品，并使用 Weaviate 进行混合搜索（词法和向量）。该系统基于 Go 语言的模块化单体架构构建，并利用 Temporal 进行持久化任务编排。当内容被摄入时，它首先通过关键词索引变得可搜索，而语义增强（嵌入）则在后台进行。系统支持插件架构，允许用户添加自定义连接器、归一化器和交付渠道，而无需修改核心引擎。

适用对象

该项目适用于需要构建自定义 RAG（检索增强生成）应用、内容监控系统或内部搜索引擎的开发者和组织，这些场景要求高可靠性、数据持久性以及处理大规模、不断演进的数据集的能力。

亮点

• 持久化摄入： 确保内容在处理前提交到存储，防止中断期间的数据丢失。
• 混合搜索： 结合快速关键词搜索与语义向量搜索，实现全面检索。
• 可扩展的插件架构： 核心功能与领域特定逻辑分离，支持自定义连接器和增强器。
• 幂等操作： 每次写入都通过幂等键进行跟踪，即使进程被重放也能确保结果一致。
• 实时监控： 支持保存查询和订阅，当新内容符合特定标准时触发警报。
• 可观测性： 内置指标、结构化日志，并支持 OpenTelemetry，以跟踪文档生命周期和系统性能。