lemonade-sdk/lemonade

Lemonade helps users discover and run local AI apps by serving optimized LLMs right from their own GPUs and NPUs. Join our discord: https://discord.gg/5xXzkMu8Zk

Lemonade – 快速、私密的本地 AI 伺服器

Lemonade 是一個開源的 本地 AI 伺服器，讓您能在自己的硬體上執行現代大型語言模型、語音轉文字、文字轉語音、影像生成及其他多模態模型。它模擬 OpenAI/Anthropic/Ollama 的 HTTP API，因此任何原本與這些服務通訊的現有客戶端，都可以指向 http://localhost:13305/v1，並使用本地託管的模型，而非雲端端點。

兩種使用方式

風格	是什麼	常見用途
Lemonade Server	可安裝於 Windows、macOS、Linux 或 Docker 的背景服務。	啟動一次，讓任意數量的應用程式（VS Code、瀏覽器、聊天機器人等）透過標準 API 連接。
可嵌入的 Lemonade	一個可隨您應用程式一起分發的單一可攜式二進位檔。	為第三方應用提供獨立的私密 AI 堆疊，無需額外安裝程式。

開箱即用的功能

使用 Gemma、Qwen、Claude 風格模型進行 聊天與程式設計。
使用 Stable Diffusion、SDXL-Turbo 等進行 影像生成。
使用 Whisper、Moonshine 進行 語音轉文字，使用 Kokoro、OpenMOSS 進行 文字轉語音。
透過實驗性後端實現 音訊與 3D 生成。
混合雲端/卸載 – 將部分請求路由至遠端 OpenAI 相容提供者，同時保持其他請求在本地處理。

支援的硬體與後端

模態	引擎	後端範例	裝置
文字生成	`llamacpp`, `flm`, `ryzenai-llm`, `vllm` (exp.)	`cpu`, `cuda`, `rocm`, `vulkan`, `metal`, `hrx` (exp.)	x86/ARM CPU、NVIDIA GPU、AMD GPU、Apple Silicon、AMD XDNA2 NPU
語音轉文字	`whispercpp`, `moonshine`	`cpu`, `npu`, `metal`, `vulkan`, `rocm`	同上
文字轉語音	`kokoro`, `openmoss` (exp.)	`cpu`, `cuda`, `vulkan`, `rocm`, `metal`	同上
影像生成	`sd-cpp`, `thenoise` (exp.)	`cpu`, `cuda`, `vulkan`, `rocm`, `metal`	同上
3D 生成	`trellis` (exp.)	`cuda`, `vulkan`, `rocm`	同上

README 中包含詳細的 NVIDIA 計算能力（Turing → Blackwell）與 AMD ROCm 系列（gfx1100–gfx120X）支援表，可確認您的 GPU/CPU/NPU 是否被涵蓋。

快速入門（CLI）

# 安裝 – Windows 使用 MSI，Linux 使用 .deb/.rpm，macOS 使用 .pkg，或使用 Docker
# 然後拉取一個模型
lemonade pull Gemma-4-E2B-it-GGUF

# 執行一個聊天模型
lemonade run Gemma-4-E2B-it-GGUF

# 啟動一個程式設計助手（Claude 風格）
lemonade launch claude

# 影像生成
lemonade run SDXL-Turbo

# 語音轉錄
lemonade run Whisper-Large-v3-Turbo

您可以列出可用模型（lemonade list），管理故障轉移用的別名（lemonade alias …），以及查詢機器支援的後端（lemonade backends）。

安裝選項

Windows – MSI 安裝程式（從發行頁面下載）。
Linux – Arch、Debian、Fedora、Ubuntu、Snap 的套件，或從原始碼建置。
macOS – .pkg 安裝程式。
Docker – 拉取官方容器鏡像。
原始碼 – 參考 docs/dev/getting-started.md 指南。

生態系與整合

Lemonade 提供一個 模型管理器 UI，用於瀏覽與下載模型，以及一個市場，讓社群成員列出已與伺服器相容的應用（例如：Firefox Chatbot、AnythingLLM、Open WebUI、GitHub Copilot、n8n 等）。

要將 Lemonade 嵌入您自己的軟體中，請使用 可嵌入的 Lemonade 二進位檔，並遵循 docs/embeddable/README.md 中的指南。

社群與授權

Apache-2.0 授權，商業與個人使用皆免費。
活躍的 Discord 社群，歡迎貢獻（PRs welcome）。
由工作小組驅動的路線圖（參見 docs/dev/working-groups）。

總結：Lemonade 是一個真正可投入生產的平台，支援在本地執行多種 AI 模型，具備廣泛的硬體支援，並與現有的 OpenAI 風格客戶端程式庫實現即插即用的相容性。