youssofal/MTPLX

解决的问题

MTPLX 为在 Apple Silicon Mac 上本地运行大型语言模型（LLMs）提供了一种高性能方法。它通过利用多令牌预测（MTP）头，一次性草拟并验证多个令牌，从而克服了标准解码的速度限制，显著提升了生成速度，同时不牺牲模型准确性。

工作原理

MTPLX 使用模型自身的 MTP 头实现精确的推测解码器。它会提前草拟多个令牌，然后通过一次批量前向传播来验证这些草稿。通过使用带有残差校正的精确拒绝采样来提交令牌，确保输出与模型通过普通解码生成的结果完全一致。为优化性能，它包含一个「自动调优」功能，可测量 Mac 的特定硬件（芯片、内存带宽、温度），以确定给定模型的最佳草稿深度。

适用人群

专为配备 Apple Silicon（M1 或更新）的 macOS 用户设计，希望在本地运行 Qwen 3.8、Gemma 4 或 Ternary Bonsai 2 等强大模型，用于编程、聊天或通过 OpenAI/Anthropic 兼容 API 驱动 AI 代理。

主要亮点

• 高速解码：在高端 M 系列芯片上，解码速度相比普通解码最高可提升 2.24 倍。
• MTP 集成：原生支持带有多令牌预测头的模型（例如 Qwen 3.8 系列）。
• 全面工具链：包含带实时性能仪表板的原生 Mac 应用、CLI，以及「Forge」工具，可从 Hugging Face 仓库创建并验证新的 MTP 模型。
• API 兼容性：提供 OpenAI 和 Anthropic 兼容 API，支持工具调用、流式传输，并可与 Cursor、Cline、Claude Code 等客户端集成。
• 高效内存管理：支持多种量化级别（4 位、8 位），并可从 SSD 流式传输大型 n-gram 表以节省 RAM。