DeepSeek-V4.1-Flash 在 NVIDIA Vera Rubin NVL72 上实现比 GB300 高 58 倍的吞吐量
TL;DR
vLLM 在单个 NVIDIA Vera Rubin NVL72 机架上运行 DeepSeek‑V4.1‑Flash,每 GPU 达到 1.7 M tokens / s(每个用户看到 387 tokens / s,比 GB300 NVL72 基线提升 58×),整体峰值达到 2.52 M tokens / s,这得益于 Rubin 特有的内核优化、专门的 TP‑8 解码路径以及机架级 KV 缓存和 Engram 池化。
硬件背景:Vera Rubin NVL72
Rubin NVL72 服务器引入了三个影响优化的架构特性:
- 每 GPU 双内存域 – 每个 SM 读取自身域的速度远快于读取另一个域,这使得带宽受限的数据(MoE 权重、LM head、MegaMoE 缓冲区)对放置位置高度敏感。
- SM107 更宽的块缩放 MMA 指令 – 新的 K64 混合精度(FP8×FP4)和 K128 FP4 MMA 使每条指令的工作量翻倍,加速了 MegaMoE、注意力机制和 MQA‑logits 内核中的 GEMM。
- 72 个 GPU 共享单个 NVLink 域 – 跨两个 tray 的张量并行(TP)几乎不产生额外的 all‑reduce 开销,prefill 实例可以直接读取彼此的 HBM,消除了冗余的权重副本。
这些特性使得下文报告的显著吞吐量提升成为可能。
针对 Rubin 的核心内核重写
DEP prefill 内核 – 每步提升约 28 %
- MegaMoE 分块现在遵循本地 token 数和 DP 平均 token 数中的较大者,在 40 步重放中将 MegaMoE 时间减少 55 %,并将 8 K–32 K token 的单请求首 token 延迟(TTFT)降低 13–39 %。
- Mega‑mHC 残差流驻留在跨两个内存域条带化的 die 本地池中;每个 SM 先耗尽自身域再帮助另一个域,在 32 K token 时将调用延迟从 354 µs 降至 317 µs。
- MegaAttn 查询 GEMM从 cuDNN(SM100)迁移到 FlashInfer 在 SM107 的 K64 MMA 上的 CuTe DSL,在 4 K–32 K 行上实现 13–18 % 的加速。
- 流水线友好的注意力机制在 QK 之前发出 SV,将索引行预取到 L2,并让每个 TMEM 通道对其自身的键进行评分,在 16 K–32 K token 时内核速度提升 15 %。
- Mega‑mHC 的票务任务环用原子票计数器取代固定步长,在 32 K token 时将大网格性能提升 18 %。
- MegaGate 竞争者过滤仅对仍可能进入前 6 的专家计算 sqrt‑softplus,在 4 K token 时将内核时间减少 3–13 %。
DEP 解码内核 – 每步提升约 25 %
- Die 本地 MegaMoE 权重将专家列拆分到内存域中,在 batch‑size 32 时实现 10.1 % 的加速,在 batch‑size 168 时实现 5.5 % 的加速。
- 宽 EP 调度将 NVLink 往返减少到每个 token 一次,在 DEP8 时将 MegaMoE 前向时间提升 17 %。
- 无屏障合并使用哨兵缓冲区,使每个 CTA 在其 GEMM 完成后立即合并,额外增加 3.5–10.8 % 的解码加速。
- Split‑K GEMM将 K 分布到 SM107 集群中,将注意力投影加速 10–38 %,整体解码前向提升高达 3.1 %。
- MQA logits 内核将 5–6 个查询行打包到单个 192 宽 tile 中,并使用 SM107 的 K128 MMA,实现 15–22 % 的更快执行。
- 拆分 Mega‑mHC仅隔离关键的 Post、route‑collapse 和 RMSNorm 步骤,带来 2–4.8 % 的解码增益。
- 更深的注意力流水线保持三个索引加载块和四个收集批次在飞行中,使解码内核速度提升 7–10 %。
低延迟 TP‑8 解码路径
专用解码流水线针对最小的每用户延迟:
- 跨两个 tray 的 TP‑8将每 GPU 权重读取减半,仅增加 0.3 µs 的 NVLink 开销,实现 35 % 的步时间减少。
- SM107 的 K64 MMA 上的打包 FP4 权重阶段将阶段数从 7 增加到 11,每步节省 57 µs。
- Die 本地 LM head每个 SM 仅流式传输一半权重,消除了跨域停顿。
- All‑reduce + mHC 融合将 GEMM 尾声直接发布到 Lamport 邮箱中,每步减少 30 µs。
- 稀疏 MLA每个 rank 运行 8 头内核;早期 KV 缓存插入和融合 RoPE 将延迟减少 16–21 µs。
- 路由 GEMM 内的共享专家将 MoE 尾部移入 GEMM,适用于 ≤16 行的层,每步节省 220 µs。
- 早期内核启动和 层流上的 Engram all‑gather每步再削减 40 µs。
结果:在单用户工作负载(batch 1)下,专用路径达到 1,810 tokens / s(P90),高于 GB300 基线中的 1,117 tokens / s。
Dynamo 工作负载感知路由与机架级内存池
Rubin 的速度实现了更高的并发性,暴露了每 rank KV 缓存的限制。vLLM 用三个共享池取代了每 rank 的 CPU 层:
- Mooncake KV 池 – 跨所有 prefill/decode tray 的 DRAM 范围存储。任何 rank 都可以通过 RDMA 加载前缀,将移动的请求转换为 KV 加载,而不是完全重新计算。因待处理查找而未填满的 prefill 步骤从 6–14 % 降至 <0.5 %。
- HBM 池 – 每个 GPU 上的备用 HBM 暴露给 Mooncake 存储,将 KV 池扩展到 DRAM 之外,并允许其余 GPU 内存用于其他 rank。
- Engram 池 – 两个 94.4 GiB 的哈希 n‑gram 表拆分到对等组(约每 GPU 10.5 GiB)的 HBM 中,并通过 NVLink 访问,而不是主机内存,释放主机 RAM 以支持约 1,500 个额外会话。
工作负载感知路由(Dynamo)现在将每个请求分配给未缓存工作最少的 rank,消除了会话亲和性导致的 DP 不平衡。在 4,800 并发模拟中,组合池和路由实现:
- 每秒请求数增加 68 %
- TTFT P50 从 29.8 s 降至 4.2 s
- 命中率从 91.8 % 提升至 96.1 %
- 空闲 rank 时间从 10.3 % 降至 1.3 %
性能总结
| 指标 | Vera Rubin NVL72 | GB300 NVL72 | 加速比 |
|---|---|---|---|
| 每 GPU tokens / s(总计) | 1.7 M | 29 k | 58× |
| 每用户 tokens / s(典型) | 387 | 6.7 | 58× |
| 峰值机架级吞吐量 | 2.52 M | 43 k | 58× |
| 低延迟每用户速率(TP‑8) | 1,810 tokens / s | 1,117 | 1.6× |
所有数字均使用 SemiAnalysis AgentX 基准测试测量,该基准反映了真实的 agentic 服务工作负载。
影响
- 横向扩展服务 – Rubin 优化栈表明,单个 NVL72 机架可以取代数十个旧机架用于高吞吐量 LLM 服务,显著减少硬件占用和功耗。
- 延迟关键型应用 – TP‑8 路径展示了低于 2 k tokens / s 的每用户速率,支持大规模响应式聊天或工具调用界面。
- 内存中心路由 – 机架级 KV 和 Engram 池,结合 Dynamo 的工作负载感知路由,消除了每 rank 会话固定的需求,简化了编排并提高了利用率。
- 未来硬件 – 优化在很大程度上依赖于 Rubin 的双域内存和 SM107 MMA;预计任何未来 GPU 只要暴露类似的内存局部性和混合精度张量核心,都能获得类似的增益。
致谢
我们感谢 DeepSeek 开源 DeepSeek‑V4.1‑Flash,感谢 NVIDIA 提供 Vera Rubin NVL72 的早期访问权限,以及 Mooncake 团队提供 KV 存储。特别感谢 Hanjie Qiu、Lisa Wang、Jie Hao、Yaoyao Ding、Pei Li、Xin Li 和 Pen Chung Li 在内核工作上的合作,以及 SemiAnalysis 提供 AgentX 基准测试。
脚注
- DEP2、DEP16 和 DEP32 分别表示在 2、16 和 32 个 GPU 上的数据并行注意力加专家并行。