docker/genai-stack

解決的問題

為開發者提供即時可用的啟動套件，可快速建構與部署生成式 AI 應用。透過將必要的基礎設施——包括 LLM、向量資料庫與應用框架——打包成單一可部署的堆疊，消除初始設定的障礙。

運作方式

本專案使用 Docker Compose 來編排一整套工具。整合 LLM（透過 Ollama 使用本地模型，或透過 API 金鑰使用 GPT-4、Claude 與 Google），使用 Neo4j 資料庫儲存向量嵌入與知識圖譜，並支援 Python 為基礎的應用。支援多種部署設定檔，適用於不同作業系統與硬體（例如 Linux-GPU）。

適用對象

希望無需手動設定底層資料庫與模型基礎設施，即可實驗 RAG（檢索增強生成）與知識圖譜的開發者。

主要特色

• 多應用示範套件：包含支援機器人、Stack Overflow 數據載入器、PDF 閱讀器與獨立 HTTP API。
• 混合式 RAG：展示純粹 LLM 回應與結合向量與知識圖譜上下文增強後的回應之間的差異。
• 彈性 LLM 支援：支援透過 Ollama 使用本地模型，以及 OpenAI、AWS 與 Google 等雲端服務商。
• 整合工具：包含基於 Svelte 的前端，並支援 LangChain 追蹤以利除錯。