varunvasudeva1/llm-server-docs

End-to-end documentation to set up your own local & fully private LLM server on Debian. Equipped with chat, web search, RAG, model management, MCP servers, image generation, and TTS.

What it solves

本專案提供了一份在 Debian Linux 上建置私有本地 LLM 伺服器的完整端對端指南。它解決了協調多個 AI 元件（如推論引擎、聊天介面與搜尋工具）的複雜性，同時確保系統安全、穩定，且對 Linux 初學者友好，易於維護。

How it works

指南帶領使用者透過一個模組化的軟體堆疊，整合多個開源工具：

  • Inference：使用 Ollama、llama.cpp 或 vLLM 來執行模型。
  • Interface：以 Open WebUI 作為主要聊天平台。
  • Capabilities：整合 SearXNG 進行網頁搜尋，Kokoro FastAPI 實現文字轉語音，ComfyUI 用於影像生成。
  • Infrastructure：使用 Docker 進行容器化，Caddy 作為反向代理，Tailscale 提供安全的遠端存取。
  • System Optimization：提供 GPU 限功腳本以降低能源消耗，並使用 systemd 管理服務。

Who it’s for

本指南針對希望在本地自行托管 AI 基礎設施的個人，特別是使用 Debian（或類似 Linux 發行版）且對伺服器管理不熟悉的使用者。

Highlights

  • Full-Stack Integration：涵蓋從作業系統安裝、GPU 驅動到高階 AI 應用的全部內容。
  • Privacy-Focused：強調完全私有化，資料不會離開本機。
  • Modular Design：鼓勵使用標準協議（如 OpenAI 相容性與 MCP），方便元件自由替換。
  • Hardware Agnostic：提供 Nvidia GPU、AMD GPU 以及僅 CPU 環境的設定說明。
  • Security-First：包含防火牆設定、Docker 網路隔離以及透過 VPN 的安全遠端存取步驟。