vespaai-playground/NyRAG

何を解決するか

NyRAGは、Retrieval-Augmented Generation (RAG) アプリケーションの構築プロセスを簡素化します。ウェブサイトやドキュメントのデータインジェストパイプラインを手動で設定する複雑さ、検索インフラのデプロイ、そしてそのデータと対話するためのチャットインターフェースの構築といった課題を解消します。

動作方法

NyRAGは、包括的な回答を確保するためのマルチステージの検索プロセスを使用しています：

1. クエリ強化：LLMがユーザーの質問から複数の検索クエリを生成し、カバレッジを向上させます。
2. 埋め込み生成：これらのクエリはSentenceTransformerモデルを使用して埋め込みに変換されます。
3. Vespa検索：ツールはVespaデプロイメントに対して最近傍検索を実行し、最も関連性の高いドキュメントチャンクを検索します。
4. チャンク統合：結果を集約し、重複を削除・ランク付けして、上位-kのチャンクを選択します。
5. 回答生成：LLMが取得したコンテキストに基づいて根拠のある回答を生成します。

対象ユーザー

自社のドキュメントやウェブサイトコンテンツを使ってRAGシステムを迅速にデプロイしたい開発者やユーザー。Docker経由のローカル環境およびクラウドベースのVespaデプロイメントをサポートしています。

特徴

• 統合UI：データ処理からチャットまで、ライフサイクル全体を管理するWebベースのインターフェース。
• 柔軟なデータインジェスト：ウェブサイトのクローリングやローカルドキュメントディレクトリの処理を内蔵サポート。
• 広範なLLM互換性：OpenAI互換API（Ollama、LM Studio、vLLMなどのローカルプロバイダー、OpenRouterやOpenAIなどのクラウドサービスを含む）と連携可能。
• ハイブリッド検索：効率的で高性能な検索を実現するVespaを活用。