通过 vLLM 在 TPU v7 上优化 0.6B 稠密模型强化学习

执行摘要

研究人员优化了 Google Cloud TPU v7 上 0.6B 稠密模型的强化学习 (RL) 训练周期,将完整的“部署到更新”周期从约 100 分钟缩短至 56 秒。这一 107 倍的加速是通过解决系统级瓶颈(特别是解码调度、同步、注意力几何结构和 KV-cache 生命周期)而非仅仅关注 FLOPs 实现的。所有优化均已合并至 vLLM、Tunix 和 MaxText 仓库,开发者可以使用提供的 tpu-recipes 配置复现这些结果。

小型稠密模型面临的挑战

对于大型稠密模型或混合专家模型 (MoE),分布式训练通常由矩阵运算和通信开销主导。然而,在训练 0.6B 参数模型时,每层的计算工作量显著减少,导致固定的系统成本成为主要瓶颈。在这种情况下,主机端调度、同步屏障、KV-cache 管理和内核启动开销占用了不成比例的挂钟时间。如果没有协同设计,这些开销会阻碍 TPU v7 MXU 保持高利用率。

系统协同设计与优化

优化工作遵循三阶段方法,旨在使软件栈与工作负载的特定几何结构相匹配:

第一阶段:基准配置

最初未经调整的运行生成速度约为 4K tokens/s。通过执行网格扫描、重新平衡数据和张量并行度以及调整 HBM 限制,团队将吞吐量提高到 30K tokens/s,并将周期时间从 100 分钟缩短至 21 分钟。

第二阶段:解码协同设计

为了克服主机端调度的限制,团队在 vLLM 中实现了“持续解码 (Continue Decode)”,将多个解码迭代编译为单个 XLA 设备循环。此外,他们重构了 Ragged Paged Attention (RPA v3) 内核,将 HBM 获取几何结构与 VMEM 计算平铺解耦。这使得 DMA 传输与 TensorCore 执行之间能够更好地重叠,将解码吞吐量提升至 130.5K tokens/s。

第三阶段:全周期优化

最终收益是通过优化整个 RL 循环实现的。关键改进包括:

  • KV 持久化: 将逻辑缓存失效与物理 HBM 分配解耦,以避免在权重更新期间进行不必要的重新分配。
  • 连续批处理: 通过将已完成的序列作为掩码槽位处理,保持融合解码循环处于活动状态。
  • 训练重调: 调整 Splash Attention 块大小以匹配生产环境的序列几何结构。
  • 并行度转换: 转向 TP1×DP128 配置以最大化部署并发性。

基准测试方法

团队使用了一个 64 芯片的 Google Cloud TPU v7 切片,运行带有组相对策略优化 (GRPO) 的 Qwen3-0.6B。该工作负载在 2,048 个并发完成任务中保持了严格的 8,192 token 响应上限。所有报告的指标均反映了稳态挂钟时间(不包括编译和预热),最终配置维持在约 183K tokens/s。

负面结果与经验教训

测试并否定了几个假设,节省了大量工程工作:

  • 权重/KV 量化: INT8 权重和 FP8 KV-cache 均未提供显著加速,因为瓶颈是由固定成本执行而非内存带宽驱动的。
  • 共享前缀注意力: 在大规模下,组合前缀/后缀注意力相比优化的生产环境 RPA 内核没有净收益。
  • 训练微批处理: 增加训练微批次大小并未减少总 FLOPs 或缩短训练阶段。

可复现性

所有更改均已合并到开源栈中。用户可以使用 tpu-recipes 仓库复现 56 秒的周期。最终配置需要特定的环境变量,例如 RPA_V3_DECODE_BLOCK_SIZES="1,2048,1,2048" 和 CONTINUE_DECODE_EOS_CHECK_INTERVAL="0",以确保融合的 XLA 循环在没有不必要同步的情况下运行。

Sources