finic-ai/rag-stack

🤖 Deploy a private ChatGPT alternative hosted within your VPC. 🔮 Connect it to your organization's knowledge base and use it as a corporate oracle. Supports open-source LLMs like Llama 2, Falcon, and GPT4All.

它解决了什么问题

RAGstack 提供了一种自托管的私有 ChatGPT 替代方案，允许组织与自己的内部知识库进行对话。通过使用检索增强生成 (RAG)，它使用户能够查询 PDF 或内部数据源等文档，而无需依赖外部公共 AI 服务。

工作原理

该项目充当编排层，将用户界面和服务器连接到向量数据库和开源 LLM。它使用 Qdrant 作为向量数据库来存储和检索文档嵌入。当用户提出问题时，系统会从数据库中检索相关信息，并将其输入到 LLM（例如 Llama 2、Falcon 或 GPT4All）中以生成上下文感知的响应。

适用对象

它专为需要在自己的虚拟私有云 (VPC) 或本地环境中部署私有、安全 AI 基础设施的开发人员和组织而设计，确保敏感数据始终处于其控制之下。

亮点

支持多种开源 LLM，包括 Llama 2、Falcon-7b 和 GPT4All。
包含适用于主要云提供商（AWS、Google Cloud 和 Azure）的自动化部署脚本。
使用 Qdrant 进行高性能、自托管的向量存储。
提供用于 PDF 文档摄取和聊天的即用型界面。