raullenchai/Rapid-MLX

它是什么？

Rapid-MLX 是一个专为 Apple Silicon Mac（M1–M4）设计的本地 AI 推理服务器。它加载开放权重 LLM（如 Qwen）并完全在您自己的机器上运行，提供标准化的 OpenAI 和 Anthropic 兼容 API，使编码代理（Codex CLI、Claude Code、Aider 等）可以将其作为云 API 的直接替代品——您的代码不会离开 Mac。

它基于 Apple 的 MLX 机器学习框架构建，主要卖点是速度：README 声称在相同模型和权重下，解码速度比 Apple 的参考 mlx-lm 服务器快 4 倍（典型任务快 1.5 倍）。README 中的基准测试表显示，它在 Qwen 模型上超越了 oMLX 和 LM Studio 等替代方案。

关键功能

• 双 API 兼容性 — 同时支持 OpenAI 聊天 API（/v1/chat/completions、/v1/responses）和 Anthropic Messages API，因此大多数现有客户端工具无需适配器即可使用。
• 面向代理的工具调用 — 27 个解析器模块，用于从模型输出中提取结构化工具/函数调用，并带有自动检测回退。这是核心用例：为编码代理提供可靠的函数调用。
• 性能工程 — 支持并发请求的连续批处理、radix 前缀缓存（优化跨请求的重复提示前缀）并持久化到磁盘（重启后保留），以及量化 KV 缓存。
• 多种运行时 — CLI、macOS 桌面应用（用于聊天、模型管理、视觉、文件的 GUI）和 HTTP 服务器。
• 超越文本 — 包括图像生成（例如 FLUX、SDXL、Stable Diffusion 3.5）、图像编辑和视觉模型；音频（TTS/STT）和嵌入是可选附加功能。
• 模型目录 — 精选别名（例如 qwen3.5-4b-4bit），包含下载大小、RAM 要求和推荐默认值。首次运行 rapid-mlx chat 会自动下载一个入门模型（约 3 GB）。

如何使用

# 安装
brew install rapid-mlx

# 直接聊天
rapid-mlx chat

# 或为其他应用提供服务（OpenAI 兼容端点）
rapid-mlx serve qwen3.5-4b-4bit
# → http://localhost:8000/v1

# 或启动预配置的编码代理
rapid-mlx launch claude-code

任何接受自定义 OpenAI/Anthropic 端点的客户端都可以指向 localhost:8000 并开始使用本地模型。

注意事项

• 硬件锁定 — 需要 M 系列 Mac（Apple Silicon）；没有 Windows/Linux 构建。内存很重要：小型 4 位模型在约 8–12 GB 统一内存中运行；较大的模型需要 32–96 GB。
• 性能声明由供应商测量 — README 中的基准测试是在特定 Mac（例如 Mac Studio M5 Max、Mac mini M4 Pro）上的单次运行比较，因此实际速度因硬件、电源状态和并发而异。
• 积极开发中 — Apache 2.0 许可证、CI、频繁发布、社区基准测试计划。

结论

一个扎实、精心设计的本地推理项目，解决了真正的痛点：在 Apple Silicon 上以有竞争力的速度运行 LLM 供编码代理使用。双 API 兼容性和工具调用重点使其与现有代理工具异常即插即用。