ggml-org/Llama-macOS

해결하는 문제

Llama는 Mac에서 로컬 대규모 언어 모델(LLM)을 실행하는 과정을 단순화하는 macOS 메뉴바 앱입니다. 수동 설정과 설치의 복잡성을 제거하고, 모델을 로컬로 안전하게 관리하고 실행할 수 있는 사용자 친화적인 인터페이스를 제공합니다.

작동 방식

이 앱은 llama.cpp를 래핑하여 http://localhost:9931/v1에서 로컬 서버를 실행합니다. 기존의 llama.cpp 설치를 자동으로 탐지하거나 사전 빌드된 바이너리를 설치합니다. Hugging Face에서 제공하는 GGUF 모델을 관리하며, 사용자의 Mac 하드웨어 사양에 따라 모델을 추천합니다. 모델은 요청 시에만 메모리에 로드되고, 사용하지 않을 때는 해제되어 시스템 리소스를 절약합니다.

대상 사용자

CLI 도구에 대한 깊은 기술 지식 없이도 로컬 LLM을 실행하고 싶은 macOS 사용자, 또는 코딩 에이전트나 다른 채팅 UI용 로컬 API 엔드포인트가 필요한 개발자에게 적합합니다.

주요 특징

• 100% 로컬: 데이터는 디바이스 내부에만 유지되어 완전한 프라이버시를 보장합니다.
• 제로 설정: 사용자의 Mac에 최적화된 설정으로 모델이 자동으로 구성됩니다.
• 작은 크기: 네이티브 macOS 앱으로 크기는 단 4MB입니다.
• 모델 추천: 사용자의 하드웨어에 맞는 모델을 내장된 추천 기능으로 제공합니다.
• 표준 저장소: Hugging Face 캐시를 사용하여 llama.cpp와 같은 다른 도구와 호환됩니다.
• API 접근: 외부 앱과 에이전트와 연결하기 위한 표준 API를 제공합니다.