Orthrus-Qwen3：通过基于扩散的投机解码加速 LLM 推理

自回归（AR）Transformer——大多数现代大型语言模型（LLM）的架构——的挑战在于其顺序性。一次生成一个 token 是一种计算成本高的过程，常常成为实际应用的瓶颈。为了解决这个问题，研究人员探索了投机解码，即使用更小、更快的“草稿”模型提前预测多个 token，而更大的“目标”模型并行验证这些预测。

Orthrus-Qwen3 通过将可训练的扩散注意力模块直接集成到冻结的 Qwen3 主干的每一层，提出了解决该问题的新方法。不同于传统的投机解码，Orthrus 不需要外部草稿模型或单独的 KV 缓存，从而在不牺牲准确性的前提下实现显著加速。

Orthrus 工作原理：扩散注意力机制

在核心上，Orthrus 通过在每一层注入可训练的扩散注意力模块来修改标准的 AR Transformer。关键创新在于基础模型（冻结的 AR Transformer）和扩散头共享同一个 KV 缓存。

该过程分为两个阶段：

扩散阶段：扩散头并行投射 $K=32$ 个 token。这是一次单步去噪过程，预测多个潜在的下一个 token。
验证阶段：随后 AR 头在第二次传递中验证这些 token。它接受与基础模型原始输出分布相匹配的最长前缀。

由于基础模型的权重是冻结的，输出分布与原始 Qwen3 模型在理论上完全相同。这保证了用户获得相同质量的响应，但速度显著提升。

性能基准与优势

根据作者的说法，Orthrus-Qwen3 在吞吐量和效率方面相较于传统扩散语言模型和现有投机解码方法都有显著提升。

吞吐量与速度

每前向令牌数（TPF）：Orthrus 达到最高 7.8 倍的 TPF，在 MATH-500 基准上实现约 6 倍的实际时间加速。

与扩散语言模型的比较

传统的扩散语言模型（如 Dream、Fast-dLLM-v2 和 Mercury）通常会修改模型的基础权重以实现并行生成，这往往导致准确率下降。例如，Fast-dLLM-v2 在 MATH-500 上下降了 11 分。相比之下，Orthrus 冻结了主干，确保准确率与 Qwen3-8B 完全一致。

与投机解码的比较

与 EAGLE-3、DFlash 等方法相比，Orthrus 提供了若干架构优势：

无需外部草稿模型：不需要初始化或同步单独的模型，从而消除首次 token 时间（TTFT）惩罚。
内存效率：KV 开销极小，保持在 $O(1)$（约 4.5 MiB 的平面占用）。
更高的接受率：在 MATH-500 基准上，Orthrus 的接受长度为 11.7，远高于 DFlash 的 7.9 和 EAGLE-3 的 3.5。

训练与实现细节

Orthrus 的实现在训练需求方面异常高效。仅有 16% 的参数被训练，模型在不到 1B token、使用 8 张 H200 GPU、历时 24 小时的条件下完成训练。

研究人员发现 KL 蒸馏 在提升接受率方面优于交叉熵（CE），且 单步去噪 过程（6.35 TPF）优于多步去噪（3.53 TPF）。

局限性与注意事项

尽管 Orthrus-Qwen3 的结果令人印象深刻，但模型目前受限于冻结的基础模型。这意味着它继承了原始 Qwen3 的所有偏见、幻觉和知识盲点。此外，当前的评估仅限于 Qwen3 以及贪婪/拒绝采样方法。

随着社区对该工作的潜力进行讨论，人们对其在其他模型（如 DeepSeek-V3 或用于本地 LLM 执行的量化 GGUF 版本）上的应用兴趣日益增长。如果成功移植，这将显著降低大规模 AI 提供商和本地爱好者的延迟和拥塞。