vLLM 弹性专家并行实现近零停机扩展
传统的大语言模型扩展需要重启服务或添加/移除整个模型副本，导致严重的服务停机时间。vLLM 新的弹性专家并行（Elastic EP）架构由 NIXL EP 驱动，允许在运行中的部署中添加或移除 GPU，且干扰极小，将扩展停机时间降至 2 秒以下。
扩展架构：异步准备与提交
近零停机能力的核心在于将 vLLM 的重新配置流程重组为两个不同的阶段：后台准备和短暂提交。在后台准备阶段，现有工作节点继续处理请求，而单独的线程准备目标拓扑、传输模型权重并预热新工作节点。提交阶段是一个短暂暂停，vLLM 在此激活准备好的拓扑，然后恢复服务。
准备过程包括四个异步执行的主要任务：
- 初始化加入的工作节点： 启动新的工作进程并分配必要的模型和执行存储。
- 准备通信： 设置目标通信组并扩展专家并行（EP）通信器。
- 传输模型权重： 通过 NVLink 或 RDMA 将所需模型权重从现有工作节点移动到加入的工作节点。
- 准备执行： 在加入的工作节点上完成内核编译、预热、调优设置和 CUDA 图构建。
提交阶段之后，异步专家并行负载均衡（EPLB）接管，允许新工作节点处理注意力计算，而现有工作节点管理专家计算，随后在后台进行专家重新分配。
NIXL EP 实现就地通信扩展
NIXL EP 是一个专门的 EP 通信库，旨在解决固定成员通信后端的局限性。以前，添加或移除排名需要创建全新的通信实例，这导致内存使用增加并使现有 CUDA 图失效。
NIXL EP 通过就地添加或移除排名来解决这些问题，重用相同的 NIXL 代理、缓冲区和连接。这允许新对等节点连接，同时现有工作节点继续服务。至关重要的是，NIXL EP 在重新配置期间保持捕获的 EP 分发和组合条目有效，这意味着保留的工作节点可以重用其现有 CUDA 图，而无需重复预热和图构建。
在准备期间，vLLM 的后台线程连接加入的对等节点而不激活它们。提交阶段随后激活准备好的对等节点，而无需替换核心通信器。
保留现有工作节点上的 CUDA 图
CUDA 图记录 GPU 操作，允许 vLLM 重放前向传递而无需重复 CPU 端启动。在扩展期间保留这些图需要在整个重新配置过程中保持稳定性。NIXL EP 确保内核启动配置、图可见通信参数以及输入/输出张量地址在扩展事件期间保持稳定。
vLLM 中为保留这些图而实施的具体更改包括：
- 重用保留工作节点的融合 MoE 执行对象，而不是为不同的活动 EP 大小重建它们。
- 保持图可见工作空间和分发输出的地址和布局稳定，确保即使 EP 大小改变，捕获的专家内核也使用正确的指针。
- 保留专家路由张量的后备存储并就地更新映射，允许 EPLB 更改映射而不移动捕获内核使用的张量。
这些措施使保留的工作节点在扩展和缩减后都能重用其现有 CUDA 图。
加入工作节点的独立准备
加入的工作节点必须准备其执行并捕获 CUDA 图，但它们不能依赖现有工作节点，因为现有工作节点正在积极服务真实请求。NIXL EP 通过允许每个加入的工作节点在预热和图准备期间临时屏蔽每个远程 EP 对等节点来促进独立准备。这将工作节点的本地排名隔离用于 EP 通信。
此外，vLLM 被修改，使得这些准备过程不等待来自其他工作节点的数据并行（DP）批次信息。这允许加入的工作节点运行虚拟批次并捕获 CUDA 图，而无需现有工作节点参与准备过程。
DeepSeek V4 Pro 上的性能基准
实验使用 DeepSeek V4 Pro 在 GB200 GPU 上进行，比较了三种配置：阻塞（A）、异步准备（B）和异步准备 + 图重用（C）。配置 C 仅由 NIXL EP 支持，表现出显著的性能改进。
停机时间减少
| 指标 | A：阻塞 | B：异步准备 | C：异步准备 + 图重用 |
|---|---|---|---|
| 16 到 20 个 GPU：停机时间 | 99.62 秒 | 58.04 秒 | 0.82 秒 |
| 20 到 16 个 GPU：停机时间 | 56.25 秒 | 44.07 秒 | 1.96 秒 |
从 16 个 GPU 扩展到 20 个 GPU 将观察到的服务中断（停机）时间从 99.62 秒减少到 0.82 秒。从 20 个 GPU 缩减到 16 个 GPU 将停机时间从 56.25 秒减少到 1.96 秒。
服务级别目标（SLO）维护
在请求负载不断上升的端到端服务场景中，弹性 EP 在整个扩展过程中保持了服务级别目标（SLO），即滚动 p95 首次令牌时间低于 5 秒。在准备期间，弹性 EP 与静态 16-GPU 部署的服务性能相匹配，扩展后与恢复的 20-GPU 部署的性能相匹配。
未来方向
未来的开发主要集中在两个主要领域：加速工作节点启动和提高通信性能。
- 使用 Dynamo Snapshot 恢复热工作节点： 下一个挑战是减少新容量准备就绪所需的时间。团队计划集成 Dynamo Snapshot，使加入的工作节点能够恢复初始化的进程和 CUDA 状态，而不是重复编译、内核预热和图构建。
- 最先进的 EP 通信： 目标是在保持对弹性 EP 和容错性的全面支持的同时，使用 NIXL EP 实现最先进的分发和组合性能。
SUMMARY: vLLM 引入了使用 NIXL EP 的弹性专家并行（Elastic EP），实现了大型 MoE 模型的近零停机无缝扩展，将扩展暂停时间从数百秒缩短至不到两秒。
TITLE: vLLM 弹性专家并行实现近零停机扩展