vespaai-playground/NyRAG

解決的問題

NyRAG 簡化了建立檢索增強生成（RAG）應用的流程。它消除了手動設定網站與文件資料輸入管道、部署搜尋基礎設施，以及建構與資料互動的聊天介面的複雜性。

工作原理

NyRAG 使用多階段檢索流程，確保全面的答案：

1. 查詢增強：LLM 從使用者問題生成多個搜尋查詢，以提升覆蓋範圍。
2. 嵌入生成：這些查詢使用 SentenceTransformer 模型轉換為嵌入向量。
3. Vespa 搜尋：工具對 Vespa 部署執行最近鄰搜尋，以找出最相關的文件片段。
4. 片段融合：結果被聚合、去重並排序，以選擇前 k 個片段。
5. 答案生成：LLM 基於檢索到的上下文嚴格生成有根據的答案。

適用對象

希望使用自有文件或網站內容快速部署 RAG 系統的開發者與使用者，支援透過 Docker 的本機部署以及雲端基礎的 Vespa 部署。

主要亮點

• 整合 UI：基於 Web 的介面，用於管理從資料處理到聊天的整個生命週期。
• 彈性資料輸入：內建支援網站爬取或本機文件目錄處理。
• 廣泛的 LLM 兼容性：支援任何 OpenAI 相容 API，包括本地提供者（如 Ollama、LM Studio、vLLM）或雲端服務（如 OpenRouter、OpenAI）。
• 混合搜尋：利用 Vespa 實現高效、高性能量的檢索。