vespaai-playground/NyRAG

解决的问题

NyRAG 简化了构建检索增强生成（RAG）应用的过程。它消除了手动设置网站和文档数据摄入管道、部署搜索基础设施以及构建与数据交互的聊天界面的复杂性。

工作原理

NyRAG 使用多阶段检索流程，确保全面的回答：

1. 查询增强：LLM 从用户问题生成多个搜索查询，以提高覆盖范围。
2. 嵌入生成：这些查询使用 SentenceTransformer 模型转换为嵌入向量。
3. Vespa 搜索：工具对 Vespa 部署执行最近邻搜索，以查找最相关的文档片段。
4. 片段融合：结果被聚合、去重并排序，以选择前 k 个片段。
5. 答案生成：LLM 基于检索到的上下文严格生成有依据的答案。

适用人群

希望使用自有文档或网站内容快速部署 RAG 系统的开发者和用户，支持通过 Docker 的本地部署以及基于云的 Vespa 部署。

主要亮点

• 集成 UI：基于 Web 的界面，用于管理从数据处理到聊天的整个生命周期。
• 灵活的数据摄入：内置支持网站爬取或本地文档目录处理。
• 广泛的 LLM 兼容性：支持任何 OpenAI 兼容 API，包括本地提供者（如 Ollama、LM Studio、vLLM）或云服务（如 OpenRouter、OpenAI）。
• 混合搜索：利用 Vespa 实现高效、高性能的检索。