ddalcu/mlx-serve

解决的问题

mlx-serve 为 Apple Silicon Mac 提供高性能的本地推理服务器，无需 Python 或云依赖。它通过支持 MLX 和 GGUF 两种模型格式，并在单一端口上暴露多种行业标准 API（OpenAI、Anthropic 和 Ollama），解决了模型格式碎片化和 API 兼容性问题。

工作原理

该服务器以原生 Zig 二进制文件形式构建，集成了 MLX 和嵌入式 llama.cpp，可运行各种 LLM 和多模态模型。它利用自定义 Metal 内核、连续批处理和四种投机解码（PLD、草稿伴生模型、Gemma 4 起草器和 Qwen MTP）来最大化 Apple 硬件上的解码速度。该项目还包含一个 macOS 菜单栏应用（MLX Core），用于模型管理、聊天和代理编排。

适用人群

使用 Apple Silicon Mac 的开发者和 AI 爱好者，他们希望获得一个快速、轻量级的本地 LLM 服务器，并能与现有的编码代理（如 Claude Code、Cursor 和 Zed）及其他 AI 工具无缝集成。

亮点

• 多格式支持： 可运行 HuggingFace 上的任何 MLX 格式模型和任何 GGUF 模型。
• 统一 API： 单一端口支持 OpenAI、Anthropic Messages 和 Ollama API。
• 多模态能力： 原生生成图像、视频、音乐、语音（含语音克隆）和 3D 模型。
• 高性能： 使用相同的 MLX 权重，解码速度优于 LM Studio。
• 代理就绪： 内置代理循环、MCP 工具调用，以及用于安全代理 shell 执行的沙盒 Linux 虚拟机。
• 零 Python： 以单个小型 Zig 二进制文件或经过公证的 macOS 应用形式分发。
• 局域网共享： 允许通过网络使用 Bonjour 访问另一台 Mac 上托管的模型。