BorisPolonsky/dify-helm

Deploy langgenious/dify, an LLM based app on kubernetes with helm chart.

解決的問題

本專案提供一個 Helm 圖表,可簡化在 Kubernetes 集群上部署 Dify(基於 LLM 的聊天機器人應用)的過程。它處理了在大規模運行平台時所需的多個後端服務、資料庫和代理的複雜編排。

工作原理

使用 Helm 自動化部署由多個關鍵組件組成的全面網路架構:

  • 核心服務:部署 API 伺服器、Web UI 前端、後台工作進程(Celery)和週期性任務排程器(Beat)。
  • 執行環境:設定用於程式碼執行的安全沙箱和用於代理 shell 執行的本機沙箱。
  • 代理與插件基礎設施:編排代理後端以進行執行編排,並管理插件守護程序以執行插件。
  • 流量管理:使用 Nginx 代理在 Web 前端、API 端點和插件服務之間路由流量。
  • 資料層:與多種資料庫(PostgreSQL、MySQL)、快取(Redis)以及向量資料庫(如 Weaviate、Qdrant、Milvus 或 PGVector)整合。
  • 儲存:支援本地 PVC 或外部物件儲存,如 AWS S3、Azure Blob 和 Google Cloud Storage。

適用對象

希望在 Kubernetes 上部署和管理 Dify 以確保高可用性和可擴展性的 DevOps 工程師和平台團隊。

主要亮點

  • 全面的編排:管理包括 API、Web、Worker 和沙箱元件在内的整個 Dify 堆疊。
  • 彈性的資料儲存:支援廣泛的外部資料庫、向量資料庫和物件儲存提供者。
  • 企業級網路:包含 SSRF 安全代理和 Nginx 反向代理,實現安全且可外部存取的流量路由。
  • 原生 Kubernetes:專為 Kubernetes 1.23+ 和 Helm 3.12+ 建構。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案