lemonade-sdk/lemonade

작동 방식 — Lemonade는 자신의 컴퓨터(Windows, Linux, macOS, Docker)에 설치하는 프로그램으로, 데이터를 클라우드 서비스로 보내지 않고 최신 AI 모델을 사용할 수 있게 해줍니다. 텍스트 채팅(Gemma, Qwen 등의 LLM), 음성 인식(Whisper), 텍스트 음성 변환, 이미지 생성(Stable Diffusion), 그리고 실험적인 3D 및 오디오 생성을 다룹니다.

작동 원리 — 한 번 시작하면 표준 OpenAI 및 Anthropic API 형식으로 다른 앱이 통신할 수 있는 로컬 "서버"가 됩니다. 클라우드에 요청당 비용을 지불하는 대신 기존 채팅 앱, 코딩 도구, 맞춤 소프트웨어를 localhost로 지정하면 무료로 비공개 AI 응답을 얻을 수 있습니다. 함께 제공되는 CLI(lemonade run …, lemonade pull …)가 모델을 다운로드하고 관리합니다.

주요 구성 요소 —

• Lemonade Server: 서비스를 설치합니다. 이미 수백 개의 앱(Claude Code, AnythingLLM, Dify, GitHub Copilot, Open WebUI 등)이 통합되어 있습니다.
• 임베디드 Lemonade: 자체 애플리케이션에 번들로 포함하여 로컬 멀티모달 AI를 자동으로 제공할 수 있는 휴대용 바이너리입니다.
• 백엔드 매트릭스: llama.cpp(CPU, CUDA, Metal, Vulkan, ROCm), XDNA2 NPU 백엔드, AMD 하드웨어용 vLLM 및 DeepSeek 특수 빌드, Whisper.cpp, Kokoro TTS, SD-CPP 등을 지원합니다. 사용자의 PC에 맞게 자동 최적화됩니다.
• 모델 관리자: Hugging Face 또는 ModelScope에서 GGUF / FLM / ONNX 모델을 탐색, 다운로드, 업데이트할 수 있습니다. 활성-대기 장애 조치(failover)를 위한 별칭을 지원합니다.
• 클라우드 오프로드(실험적): 로컬 모델과 함께 OpenAI 호환 클라우드 제공자로 요청을 라우팅할 수 있습니다.

대상 사용자 — 개인정보를 존중하는 로컬 AI 스택을 원하는 개발자, 특히 AMD 하드웨어(Ryzen AI / Radeon / Strix Halo) 사용자에게 적합하며, AMD 엔지니어의 최적화가 기여되었습니다. 커뮤니티 기반의 Apache 라이선스로, 작업 그룹으로 구성된 로드맵이 있습니다.