lemonade-sdk/lemonade

Lemonade helps users discover and run local AI apps by serving optimized LLMs right from their own GPUs and NPUs. Join our discord: https://discord.gg/5xXzkMu8Zk

功能概述 — Lemonade 是一款安装在自己的计算机(Windows、Linux、macOS、Docker)上的程序,无需将数据发送到云端服务即可使用现代 AI 模型。它涵盖文本聊天(如 Gemma 和 Qwen 等 LLM)、语音转文本(Whisper)、文本转语音、图像生成(Stable Diffusion),甚至实验性的 3D 和音频生成。

工作原理 — 启动一次后,它就成为本地"服务器",其他应用可以使用标准的 OpenAI 和 Anthropic API 格式与之通信。因此,无需按请求向云端付费,您现有的聊天应用、编码工具和自定义软件只需指向 localhost,即可获得免费、私密的 AI 响应。附带的 CLI(lemonade run …、lemonade pull …)负责下载和管理模型。

核心组件 —

  • Lemonade Server: 安装服务;数百个应用已与其集成(Claude Code、AnythingLLM、Dify、GitHub Copilot、Open WebUI 等)。
  • 可嵌入的 Lemonade: 一个可移植的二进制文件,您可以将其捆绑到自己的应用程序中,自动提供本地多模态 AI 功能。
  • 后端矩阵: 支持 llama.cpp(CPU、CUDA、Metal、Vulkan、ROCm)、XDNA2 NPU 后端、针对 AMD 硬件的 vLLM 和 DeepSeek 专用构建、Whisper.cpp、Kokoro TTS、SD-CPP 等。它会根据用户的 PC 自动优化。
  • 模型管理器: 浏览、下载和更新来自 Hugging Face 或 ModelScope 的 GGUF / FLM / ONNX 模型;支持别名以实现主备故障转移。
  • 云端卸载(实验性): 可将请求路由到 OpenAI 兼容的云提供商,同时使用本地模型。

适用对象 — 希望构建尊重隐私的本地 AI 栈的开发者,尤其是 AMD 硬件(Ryzen AI / Radeon / Strix Halo)用户,并包含 AMD 工程师的优化贡献。该项目由社区构建,采用 Apache 许可证,并制定了按工作组组织的路线图。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目