lemonade-sdk/lemonade

Lemonade helps users discover and run local AI apps by serving optimized LLMs right from their own GPUs and NPUs. Join our discord: https://discord.gg/5xXzkMu8Zk

動作概要 — Lemonade は、自分のコンピューター(Windows、Linux、macOS、Docker)にインストールして使うプログラムで、データをクラウドサービスに送信することなく最新のAIモデルを利用できます。テキストチャット(GemmaやQwenなどのLLM)、音声認識(Whisper)、テキスト読み上げ、画像生成(Stable Diffusion)、さらに実験的な3Dおよびオーディオ生成もカバーしています。

仕組み — 一度起動すると、他のアプリが標準のOpenAIおよびAnthropic API形式で通信できるローカル「サーバー」になります。つまり、クラウドにリクエストごとに料金を支払う代わりに、既存のチャットアプリ、コーディングツール、カスタムソフトウェアを localhost にポイントするだけで、無料でプライベートなAI応答が得られます。付属のCLI(lemonade run …、lemonade pull …)がモデルのダウンロードと管理を行います。

主要コンポーネント —

  • Lemonade Server: サービスをインストールします。多数のアプリ(Claude Code、AnythingLLM、Dify、GitHub Copilot、Open WebUIなど)がすでに統合されています。
  • 組み込み可能なLemonade: 独自のアプリケーションにバンドルして、ローカルでマルチモーダルAIを自動的に提供できるポータブルバイナリです。
  • バックエンドマトリクス: llama.cpp(CPU、CUDA、Metal、Vulkan、ROCm)、XDNA2 NPUバックエンド、AMDハードウェア向けのvLLMおよびDeepSeek特化ビルド、Whisper.cpp、Kokoro TTS、SD-CPPなどをサポートします。ユーザーのPCに合わせて自動最適化されます。
  • モデルマネージャー: Hugging FaceまたはModelScopeからGGUF / FLM / ONNXモデルを参照、ダウンロード、更新できます。アクティブ/スタンバイフェイルオーバー用のエイリアスをサポートします。
  • クラウドオフロード(実験的): ローカルモデルとともにOpenAI互換のクラウドプロバイダーにリクエストをルーティングできます。

対象ユーザー — プライバシーを重視したローカルAIスタックを求める開発者、特にAMDハードウェア(Ryzen AI / Radeon / Strix Halo)のユーザー向けで、AMDエンジニアによる最適化が貢献されています。コミュニティ構築のApacheライセンスであり、作業グループに編成されたロードマップがあります。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト