anurmatov/mac-studio-server

解決すること

このプロジェクトは、Appleシリコン搭載Macをヘッドレスモデルサーバーに変えます。Ollama、llama.cpp、DwarfStar（ds4）、MLX-ServeなどのLLMバックエンドのデプロイを簡素化し、起動時に自動的に開始されるサービスとして実行できるようにします。

仕組み

このツールは、必要なソフトウェア（Homebrew、Ollama、llama.cppなど）を設定し、システム設定を管理する自動インストーラーを提供します。ユーザーはインストールするバックエンドと、アクティブにするバックエンドを選択でき、他のバックエンドは待機状態のままにできます。GPUメモリ割り当てを管理するメモリガードが含まれ、モデルサーバーへの安全なLANアクセスを許可するようにmacOSファイアウォール（pf）を設定します。

対象ユーザー

各バックエンドの手動設定を維持することなく、ローカルネットワーク専用のヘッドレスAIモデルサーバーを実行したいAppleシリコン搭載Macユーザー。

ハイライト

• マルチバックエンドサポート: Ollama、llama.cpp、DwarfStar、MLX-Serveをサポート。
• ヘッドレス最適化: サーバーの可用性を確保するために、スリープ、Spotlight、自動更新を無効にするmacOSの調整が含まれます。
• LANアクセス: モデルサーバーへの安全なリモートアクセスのためのファイアウォール許可リストが統合されています。
• GPUメモリ管理: 各バックエンドがMetalに使用するRAMの割合を特定のパーセンテージに設定できます。
• Docker統合: コンテナ化されたワークロード用にColimaとDocker CLIのオプションのインストールと自動起動。