wangle201210/go-rag

解決する課題

検索拡張生成（RAG）を用いて、個人または組織のナレッジベースを構築・管理するための完全なシステムを提供します。データのドキュメント化、インデックス作成、および独自のデータとのチャットを簡素化し、LLMの応答がアップロードされた特定のドキュメントに基づいていることを保証します。

仕組み

このシステムは、Goベースのバックエンド（eino+gf）とVueベースのフロントエンドを使用します。アップロードされたドキュメント（PDF、HTML、Markdown）またはWebページを処理し、管理可能なチャンクに分割して、Elasticsearch 8やQdrantなどのベクトルデータベースに保存します。情報の検索には、マルチパスリコールを採用しており、コンテンツベクトル、QAベクトル、およびBM25キーワード検索を組み合わせ、LLMに渡す前にReciprocal Rank Fusion (RRF)を使用して結果を再ランキングします。

対象ユーザー

複数のナレッジベースをサポートし、ドキュメントチャンクの管理や検索テストのためのGUIを提供する、セルフホスト型のRAGソリューションを求める開発者やユーザー向けです。

ハイライト

• マルチフォーマット対応: Markdown、PDF、HTMLファイルおよびWebページを解析します。
• 高度な検索: ベクトル検索とキーワード検索（BM25）を組み合わせ、RRFによる再ランキングを通じて精度を高めます。
• ナレッジ管理: ナレッジベースの作成、ドキュメントのアップロード、テキストチャンクの手動編集を行うためのGUIを備えています。
• 外部連携: You.comによるリアルタイムWeb検索をサポートし、DeepChatなどのツールでの使用のためにModel Context Protocol (MCP)と統合します。
• 柔軟なストレージ: ベクトルデータ保存にElasticsearch 8とQdrantの両方に対応しています。