anurmatov/mac-studio-server

解决的问题

该项目将搭载Apple silicon的Mac转变为无头模型服务器。它简化了Ollama、llama.cpp、DwarfStar（ds4）和MLX-Serve等LLM后端的部署，使它们可以作为服务在启动时自动运行。

工作原理

该工具提供了一个自动化安装程序，用于配置必要的软件（Homebrew、Ollama、llama.cpp等）并管理系统设置。它允许用户选择要安装的后端以及激活哪个后端，而其他后端则保持待命状态。它包含一个内存守护程序来管理GPU内存分配，并配置macOS防火墙（pf）以允许对模型服务器进行安全的LAN访问。

适用对象

拥有Apple silicon Mac、希望为其本地网络运行专用无头AI模型服务器、而无需手动维护每个后端配置的用户。

亮点

• 多后端支持： 支持Ollama、llama.cpp、DwarfStar和MLX-Serve。
• 无头优化： 包含macOS的调整，用于禁用睡眠、Spotlight和自动更新，以确保服务器保持可用。
• 局域网访问： 集成的防火墙允许列表，用于安全地对模型服务器进行远程访问。
• GPU内存管理： 能够为每个后端设置Metal使用的RAM的特定百分比。
• Docker集成： 可选安装并自动启动Colima和Docker CLI，用于容器化工作负载。