The-Vibe-Company/quivr

解決する課題

Quivr V2は、継続的なコンテンツストリームを検索および監視可能なナレッジベースに変換するために設計されたオープンソースエンジンです。取り込まれたコンテンツが確実に永続化され、キーワード検索とセマンティック検索の両方でインデックス化され、特定のトピックやアラートをリアルタイムで監視できるようにすることで、大量の非構造化データの管理という問題を解決します。

仕組み

Quivr V2は、データの取り込み、エンリッチメント、取得を調整するモジュール式のバックエンドとして機能します。トランザクションストレージにはPostgreSQL、生のアーティファクトにはS3互換ストレージ、ハイブリッド検索（語彙およびベクトル）にはWeaviateを使用します。このシステムはGoベースのモジュール式モノリス上に構築されており、耐久性のあるタスクオーケストレーションにはTemporalを利用しています。コンテンツが取り込まれると、まずキーワードインデックスによって検索可能になり、セマンティックエンリッチメント（埋め込み）はバックグラウンドで行われます。システムはプラグインアーキテクチャをサポートしており、ユーザーはコアエンジンを変更することなく、カスタムコネクタ、ノーマライザー、配信チャネルを追加できます。

対象ユーザー

このプロジェクトは、高い信頼性、データの耐久性、および大規模で進化するデータセットを処理する能力を必要とする、カスタムRAG（検索拡張生成）アプリケーション、コンテンツ監視システム、または社内検索エンジンを構築する必要がある開発者や組織を対象としています。

ハイライト

• 耐久性のある取り込み： コンテンツが処理前にストレージにコミットされることを保証し、停止中のデータ損失を防ぎます。
• ハイブリッド検索： 高速なキーワード検索とセマンティックベクトル検索を組み合わせ、包括的な検索を実現します。
• 拡張可能なプラグインアーキテクチャ： コア機能がドメイン固有のロジックから分離されており、カスタムコネクタやエンリッチャーを追加可能です。
• 冪等操作： すべての書き込みは冪等キーで追跡され、プロセスが再実行されても一貫した結果を保証します。
• リアルタイム監視： 保存されたクエリとサブスクリプションをサポートし、新しいコンテンツが特定の基準に一致したときにアラートをトリガーします。
• 可観測性： メトリクス、構造化ログが組み込まれており、OpenTelemetryをサポートしてドキュメントのライフサイクルとシステムパフォーマンスを追跡します。