lone-cloud/gerbil
A desktop app for running Large Language Models locally.
What it solves
Gerbil은 사용자 친화적인 크로스플랫폼 인터페이스를 제공하여 사용자 자신의 하드웨어에서 대형 언어 모델(LLM)과 이미지 생성 워크플로를 로컬에서 실행할 수 있게 합니다. KoboldCpp와 같은 백엔드 설정 및 모델 파일 관리의 기술적 마찰을 제거하여 외부 서버나 계정에 의존하지 않고 완전한 프라이버시를 유지할 수 있도록 합니다.
How it works
KoboldCpp(llama.cpp의 포크) 주변의 GUI 래퍼 역할을 하여 텍스트 생성을 수행하며, Flux, Chroma, Qwen Image, Z-Image와 같은 이미지 생성 워크플로를 위한 내장 프리셋을 포함합니다. 앱은 HuggingFace 검색을 통합하여 사용자가 GGUF 모델을 직접 찾아보고 다운로드할 수 있게 합니다. 또한 SillyTavern과 OpenWebUI와 같은 외부 프론트엔드와의 통합을 지원하며, 리소스 사용을 최소화하기 위해 헤드리스 CLI 모드로 실행할 수 있습니다.
Who it’s for
Windows, macOS, 또는 Linux에서 로컬에서 AI를 실행하고자 하는 사용자를 위해 설계되었으며, 간단한 "바로 사용 가능한" 경험을 선호하는 사용자부터 80개 이상의詳細한 백엔드 구성 인수에 접근해야 하는 고급 사용자까지 포괄합니다.
Highlights
- 하드웨어 유연성: CUDA, ROCm, Vulkan, Metal을 통한 GPU 가속뿐만 아니라 CPU 전용 시스템도 지원합니다.
- 프라이버시 우선: 텔레메트리, 외부 서버, 계정 요구 사항 없이完全 오프라인에서 작동합니다.
- 통합된 생태계: 내장된 HuggingFace 모델 검색 및 SillyTavern과 OpenWebUI를 쉽게 실행할 수 있는 옵션 제공.
- 다양한 배포 방식: 휴대 가능한 바이너리, AppImage, 또는 Arch User Repository (AUR)를 통해 제공되며, 오버헤드를 최소화하기 위한 선택적 CLI 모드도 지원합니다.