jjang-ai/vmlx

解决的问题

vMLX 是一款专为 Apple Silicon（M1/M2/M3/M4）设计的自托管推理服务器，允许用户在无需第三方 API 密钥的情况下，本地运行大型语言模型（LLMs）、视觉语言模型（VLMs）和图像生成模型。

工作原理

它利用 MLX 框架提供 OpenAI、Anthropic 和 Ollama 兼容的 HTTP API。系统采用先进的五层缓存架构（包括内存感知前缀缓存和磁盘缓存），并支持连续批处理、推测解码和提示查找解码等高级推理技术，以优化性能。它还支持分布式推理，允许通过网络连接（Thunderbolt、以太网、WiFi）将模型拆分到多台 Mac 上运行。

适用人群

使用 Apple Silicon Mac 的开发者和 AI 研究人员，希望为文本、图像和音频 AI 任务提供高性能的本地替代方案，而非依赖云 API。

主要亮点

• 广泛的模型支持：可运行任何 MLX 模型，包括文本 LLM、视觉模型、多模态全能模型和 MoE 架构。
• 分布式计算：支持通过流水线并行在多台 Mac 上运行大型模型。
• L2 磁盘缓存：将提示缓存持久化到 SSD，即使服务器重启后，后续消息也能立即响应。
• 多 API 兼容性：原生支持 OpenAI、Anthropic 和 Ollama 的数据格式。
• 集成桌面应用：包含 MLX Studio，提供基于 GUI 的聊天界面、模型管理及开发者工具。
• 高级量化：支持 JANG 自适应混合精度，在更低的位宽下仍保持更高质量。