lone-cloud/gerbil

A desktop app for running Large Language Models locally.

它解決了什麼

Gerbil 提供一個使用者友好、跨平台的介面，可在使用者自己的硬體上本地運行大型語言模型（LLMs）和圖像生成工作流程。它消除了設定 KoboldCpp 等後端以及管理模型檔案的技術摩擦，讓使用者能在不依賴外部伺服器或帳戶的情況下保持完全隱私。

它是如何運作的

它作為 KoboldCpp（llama.cpp 的一個分支）的 GUI 包裝器，用於文字生成，並內建了圖像生成工作流程的預設，例如 Flux、Chroma、Qwen Image 和 Z-Image。該應用程式整合了 HuggingFace 搜尋，讓使用者可以直接瀏覽和下載 GGUF 模型。它也支援與外部前端如 SillyTavern 和 OpenWebUI 的整合，並可以無頭 CLI 模式運行以最小化資源使用。

它適合誰使用

它專為希望在 Windows、macOS 或 Linux 上本地運行 AI 的使用者設計，從偏好簡單「即插即用」體驗的使用者，到需要存取超過 80 個詳細後端配置參數的進階使用者。

亮點

  • 硬體彈性：支援僅 CPU 系統，也支援透過 CUDA、ROCm、Vulkan 和 Metal 的 GPU 加速。
  • 隱私優先：完全離線運行，無遙測、外部伺服器或帳戶需求。
  • 整合生態系統：內建 HuggingFace 模型搜尋，並提供 SillyTavern 和 OpenWebUI 的簡易啟動選項。
  • 多樣化部署：提供可攜執行檔、AppImage，或透過 Arch 使用者倉儲 (AUR) 取得，並提供可選的 CLI 模式以降低開銷。