anurmatov/mac-studio-server

해결하는 문제

이 프로젝트는 Apple 실리콘 Mac을 헤드리스 모델 서버로 변환합니다. Ollama, llama.cpp, DwarfStar(ds4), MLX-Serve와 같은 LLM 백엔드의 배포를 단순화하여 부팅 시 자동으로 시작되는 서비스로 실행할 수 있게 합니다.

작동 방식

이 도구는 필요한 소프트웨어(Homebrew, Ollama, llama.cpp 등)를 구성하고 시스템 설정을 관리하는 자동 설치 프로그램을 제공합니다. 사용자는 설치할 백엔드와 활성화할 백엔드를 선택할 수 있으며, 다른 백엔드는 대기 상태로 유지됩니다. GPU 메모리 할당을 관리하는 메모리 가드를 포함하고, 모델 서버에 대한 안전한 LAN 액세스를 허용하도록 macOS 방화벽(pf)을 구성합니다.

대상 사용자

각 백엔드에 대한 수동 구성을 유지하지 않고 로컬 네트워크용 전용 헤드리스 AI 모델 서버를 실행하려는 Apple 실리콘 Mac 사용자.

주요 기능

• 다중 백엔드 지원: Ollama, llama.cpp, DwarfStar 및 MLX-Serve를 지원합니다.
• 헤드리스 최적화: 서버 가용성을 보장하기 위해 절전, Spotlight 및 자동 업데이트를 비활성화하는 macOS 조정이 포함됩니다.
• LAN 액세스: 모델 서버에 대한 안전한 원격 액세스를 위한 통합 방화벽 허용 목록.
• GPU 메모리 관리: 각 백엔드에 대해 Metal이 사용할 RAM의 특정 비율을 설정할 수 있습니다.
• Docker 통합: 컨테이너화된 워크로드를 위한 Colima 및 Docker CLI의 선택적 설치 및 자동 시작.