lithos-ai/lithos-metal

lithos-metal 是一个完全开源的推理引擎，可在 Apple silicon Mac 上高效运行大型语言模型（如 Qwen3.8-27B）。它会生成专门的 Metal GPU 代码（“megakernels”），将许多小的计算步骤融合成更大的组合操作，以减少开销。

关键思想

• Megakernels 与逐层融合。 该引擎不会为每个 token 启动数百个微小的 GPU kernel，而是将整个层（注意力或 Gated DeltaNet）的混合器编译成单个融合的 GPU 程序。持久的 GPU 工作线程组（threadgroups）执行一系列任务，重用中间数据并减少内存流量。
• DSpark 投机解码。 一个小的“草稿”模型提出一个最多 7 个 token 的块；主模型在一次前向传递中验证整个块。当多个 token 被接受时，一次昂贵的模型传递会产生多个输出 token。
• GPU 常驻控制。 Token 位置、接受的 token 以及状态提交/回滚都在 GPU 上跟踪，从而最大限度地减少 CPU 往返。
• 针对 Apple 的优化。 利用 M3+/M5 特性，如动态片上内存、内联张量运算和调整后的 tile 几何形状，以最大化吞吐量。

服务与集成

它作为 Homebrew 包和 lithos-metal serve 命令发布，该命令公开了一个与 OpenAI 兼容的 API（Chat Completions、Responses、Anthropic Messages、Ollama）。配套启动器（lithos-metal opencode、claude、codex、hermes）让您可以将编码代理指向本地服务器，而无需修改其全局配置。

硬件与性能

面向 M3/M4/M5 Mac；旗舰案例研究是配备 48 GB 内存的 40 核 M5 Max，以约 168 tokens/s（128-token 上下文） 的速度运行 Qwen3.8-27B-NVFP4，在 32K 上下文下降至约 127 tokens/s（预测数字，不包括草稿/验证开销）。

状态：Apache 2.0，针对架构、Apple GPU 执行、megakernels、投机解码和扩展合约有活跃的设计文档。独立引擎——不依赖 MPK/Mirage 运行时，尽管其灵感来自该工作。