lone-cloud/gerbil

A desktop app for running Large Language Models locally.

何を解決するか

Gerbilは、ユーザーフレンドリーでクロスプラットフォームなインターフェースを提供し、ユーザー自身のハードウェア上で大規模言語モデル（LLM）と画像生成ワークフローをローカルで実行できます。KoboldCppなどのバックエンドのセットアップやモデルファイルの管理における技術的な摩擦を取り除き、外部サーバーやアカウントに依存せずにユーザーが完全なプライバシーを維持できるようにします。

どうやって動作するか

これはテキスト生成のためにKoboldCpp（llama.cppのフォーク）のGUIラッパーとして機能し、Flux、Chroma、Qwen Image、Z-Imageなどの画像生成ワークフロー用の組み込みプリセットを含みます。このアプリはHuggingFace検索を統合し、ユーザーがGGUFモデルを直接閲覧・ダウンロードできるようにします。さらに、SillyTavernやOpenWebUIなどの外部フロントエンドとの統合をサポートし、リソース使用量を最小限に抑えるためにヘッドレスCLIモードで実行することもできます。

対象ユーザー

これは、Windows、macOS、Linux上でローカルでAIを実行したいユーザー向けに設計されています。シンプルな「Out of the box」体験を好むユーザーから、80以上の詳細なバックエンド設定引数へのアクセスが必要な上級ユーザーまで幅広く対応します。

ハイライト

  • ハードウェアの柔軟性: CPU専用システムだけでなく、CUDA、ROCm、Vulkan、Metalを介したGPUアクセラレーションもサポートします。
  • プライバシー第一: テレメトリ、外部サーバー、アカウント不要で完全にオフラインで動作します。
  • 統合エコシステム: 組み込みのHuggingFaceモデル検索と、SillyTavernおよびOpenWebUIの簡単な起動オプションを提供します。
  • 多様なデプロイメント: ポータブルバイナリ、AppImages、またはArch User Repository (AUR)を通じて利用可能で、オプションのCLIモードによりオーバーヘッドを最小限に抑えることができます。