lemonade-sdk/lemonade

Lemonade helps users discover and run local AI apps by serving optimized LLMs right from their own GPUs and NPUs. Join our discord: https://discord.gg/5xXzkMu8Zk

Lemonade – 快速、私有的本地 AI 服务器

Lemonade 是一个开源的 本地 AI 服务器，可让您在自己的硬件上运行现代大型语言模型、语音识别、文本转语音、图像生成及其他多模态模型。它模拟 OpenAI/Anthropic/Ollama 的 HTTP API，因此任何与这些服务通信的现有客户端都可以指向 http://localhost:13305/v1，并使用本地托管的模型，而非云服务端点。

两种使用方式

风格	是什么	典型用途
Lemonade Server	您可在 Windows、macOS、Linux 或 Docker 上安装的后台服务。	启动一次，让任意数量的应用程序（VS Code、浏览器、聊天机器人等）通过标准 API 连接。
可嵌入的 Lemonade	一个可随您应用一起分发的单个便携式二进制文件。	为第三方应用提供独立的私有 AI 堆栈，无需单独安装程序。

开箱即用的功能

使用 Gemma、Qwen、Claude 风格模型进行 聊天与编程。
使用 Stable Diffusion、SDXL-Turbo 等进行 图像生成。
使用 Whisper、Moonshine 进行 语音转文字，使用 Kokoro、OpenMOSS 进行 文本转语音。
通过实验性后端实现 音频与 3D 生成。
混合云/卸载 – 将部分请求路由到远程 OpenAI 兼容提供者，同时保持其他请求在本地处理。

支持的硬件与后端

模态	引擎	后端示例	设备
文本生成	`llamacpp`, `flm`, `ryzenai-llm`, `vllm` (exp.)	`cpu`, `cuda`, `rocm`, `vulkan`, `metal`, `hrx` (exp.)	x86/ARM CPU、NVIDIA GPU、AMD GPU、Apple Silicon、AMD XDNA2 NPU
语音转文字	`whispercpp`, `moonshine`	`cpu`, `npu`, `metal`, `vulkan`, `rocm`	同上
文本转语音	`kokoro`, `openmoss` (exp.)	`cpu`, `cuda`, `vulkan`, `rocm`, `metal`	同上
图像生成	`sd-cpp`, `thenoise` (exp.)	`cpu`, `cuda`, `vulkan`, `rocm`, `metal`	同上
3D 生成	`trellis` (exp.)	`cuda`, `vulkan`, `rocm`	同上

README 中包含详细的 NVIDIA 计算能力（Turing → Blackwell）和 AMD ROCm 系列（gfx1100–gfx120X）支持表，可查看您的 GPU/CPU/NPU 是否被覆盖。

快速入门（CLI）

# 安装 – Windows 使用 MSI，Linux 使用 .deb/.rpm，macOS 使用 .pkg，或使用 Docker
# 然后拉取一个模型
lemonade pull Gemma-4-E2B-it-GGUF

# 运行一个聊天模型
lemonade run Gemma-4-E2B-it-GGUF

# 启动一个编码助手（Claude 风格）
lemonade launch claude

# 图像生成
lemonade run SDXL-Turbo

# 语音转录
lemonade run Whisper-Large-v3-Turbo

您可以列出可用模型（lemonade list），管理故障转移用的别名（lemonade alias …），以及查询机器支持的后端（lemonade backends）。

安装选项

Windows – MSI 安装程序（从发布页面下载）。
Linux – Arch、Debian、Fedora、Ubuntu、Snap 的包，或从源码构建。
macOS – .pkg 安装程序。
Docker – 拉取官方容器镜像。
源码 – 参考 docs/dev/getting-started.md 指南。

生态系统与集成

Lemonade 随附一个 模型管理器 UI，用于浏览和下载模型，以及一个市场，社区成员在此列出已与服务器兼容的应用（例如：Firefox Chatbot、AnythingLLM、Open WebUI、GitHub Copilot、n8n 等）。

要将 Lemonade 嵌入到您自己的软件中，请使用 可嵌入的 Lemonade 二进制文件，并遵循 docs/embeddable/README.md 中的指南。

社区与许可

Apache-2.0 许可证，可用于商业和个人用途。
活跃的 Discord 社区，欢迎贡献（PRs welcome）。
由工作组驱动的路线图（参见 docs/dev/working-groups）。

总结：Lemonade 是一个真正可投入生产的平台，支持在本地运行多种 AI 模型，具备广泛的硬件支持，并与现有的 OpenAI 风格客户端库实现无缝兼容。