docker/genai-stack

解决的问题

为开发者提供一个开箱即用的启动套件，可快速构建和部署生成式 AI 应用。通过将必要的基础设施——包括 LLM、向量数据库和应用框架——打包成一个可部署的完整栈，消除了初始设置的复杂性。

工作原理

该项目使用 Docker Compose 来编排一系列工具。它集成了 LLM（通过 Ollama 使用本地模型，或通过 API 密钥使用 GPT-4、Claude 和 Google），使用 Neo4j 数据库存储向量嵌入和知识图谱，并支持基于 Python 的应用。支持多种部署配置文件，适用于不同操作系统和硬件（例如 Linux-GPU）。

适用人群

希望无需手动配置底层数据库和模型基础设施，即可实验 RAG（检索增强生成）和知识图谱的开发者。

主要亮点

• 多应用演示套件：包含支持机器人、Stack Overflow 数据加载器、PDF 阅读器和独立 HTTP API。
• 混合 RAG：展示纯 LLM 响应与结合向量和知识图谱上下文增强后的响应之间的差异。
• 灵活的 LLM 支持：兼容通过 Ollama 使用的本地模型，以及 OpenAI、AWS 和 Google 等云服务商。
• 集成工具：包含基于 Svelte 的前端，并支持 LangChain 跟踪以用于调试。