waybarrios/vllm-mlx

解决的问题

vllm-mlx 是专为 Apple Silicon Mac 设计的高吞吐量推理服务器。它解决了 macOS 上缺乏 vLLM 风格服务体验的问题，提供了通常在基础本地 LLM 运行器中缺失的高级内存管理和批处理技术，同时支持从单个进程运行多种多模态模型（文本、图像、视频、音频）。

工作原理

该项目利用 MLX 框架和 Metal 内核，充分利用 Apple 的统一内存架构。它实现了受 vLLM 启发的几种关键优化技术：

• 连续批处理：通过并发处理多个请求来提高吞吐量。
• 分页 KV 缓存：高效管理内存并支持前缀共享。
• 前缀缓存：使用基于 Trie 的系统在请求之间共享公共提示前缀。
• SSD 分层缓存：允许将前缀缓存溢出到磁盘，以支持长上下文代理。

它提供了与 OpenAI 和 Anthropic 兼容的 API，使其在许多本地开发环境中可作为这些服务的即插即用替代品。

适用人群

使用 Apple Silicon（M1 至 M5）的开发者和 AI 研究人员，需要在本地以高性能、高并发运行多模态模型，并与现有 AI SDK 及编码代理（如 Claude Code 或 GitHub Copilot CLI）兼容。

主要亮点

• 双 API 支持：原生支持 OpenAI /v1/* 和 Anthropic /v1/messages 端点。
• 多模态能力：单服务器支持 LLM、视觉模型（如 Gemma 3、Qwen3-VL）、音频（TTS 和 STT）以及嵌入向量。
• 高级内存管理：具备分页 KV 缓存和 SSD 分层缓存功能，适用于长上下文任务。
• 原生加速：基于 MLX 构建，无需模型转换步骤，即可在 Apple Silicon 上直接实现 GPU 加速。
• 可观测性：内置 Prometheus 指标和用于提示词扫荡的基准测试工具。