lone-cloud/gerbil

A desktop app for running Large Language Models locally.

它解决了什么

Gerbil 提供了一个用户友好、跨平台的界面，用于在用户自己的硬件上本地运行大型语言模型（LLMs）和图像生成工作流。它消除了设置如 KoboldCpp 这样的后端和管理模型文件的技术摩擦，使用户能够在不依赖外部服务器或账户的情况下保持完全的隐私。

它是如何工作的

它充当 KoboldCpp（llama.cpp 的一个分支）的 GUI 包装器，用于文本生成，并内置了用于图像生成工作流的预设，如 Flux、Chroma、Qwen Image 和 Z-Image。该应用集成了 HuggingFace 搜索，使用户可以直接浏览和下载 GGUF 模型。它还支持与外部前端如 SillyTavern 和 OpenWebUI 集成，并且可以以无头 CLI 模式运行以最小化资源使用。

它适用于谁

它专为希望在 Windows、macOS 或 Linux 上本地运行 AI 的用户而设计，从偏好简单“开箱即用”体验的用户到需要访问超过 80 个详细后端配置参数的高级用户。

亮点

  • 硬件灵活性：支持仅 CPU 的系统，也支持通过 CUDA、ROCm、Vulkan 和 Metal 进行 GPU 加速。
  • 隐私优先：完全离线运行，无需遥测、外部服务器或账户要求。
  • 集成生态系统：内置 HuggingFace 模型搜索，并提供 SillyTavern 和 OpenWebUI 的易于启动选项。
  • 多功能部署：可作为便携式二进制文件、AppImage 或通过 Arch 用户仓库（AUR）获得，并提供可选的 CLI 模式以实现最小开销。