kubernetes-sigs/lws

解决的问题

该项目提供 Kubernetes API，用于管理需要多个 Pod 作为一个整体协同工作的 AI/ML 推理工作负载。它特别解决了将大型语言模型（LLM）在多个设备和节点之间分片部署的挑战，确保这些 Pod 作为一个整体进行创建、扩展和更新，而不是作为独立实体。

工作原理

该项目引入了两个主要 API：

• LeaderWorkerSet (LWS)：管理一个由单个领导 Pod 和多个工作 Pod 组成的「超级 Pod」。它确保组内 Pod 具有唯一标识（索引），并可并行创建，支持使用抢占式调度（全部或无）进行调度。
• DisaggregatedSet (DS)：在 LWS 的基础上，支持更高级的非统一架构，其中推理的不同阶段（如预填充和解码）在不同基础设施上运行。它协调多个角色的滚动更新，并管理用于发现和路由的无头服务。

适用人群

负责管理大规模 AI 模型高性能分布式推理服务栈的基础设施工程师和 Kubernetes 运维人员。

主要亮点

• 基于单元的复制：将一组 Pod 视为单一单元，用于扩展、滚动更新和故障处理。
• 拓扑感知的部署：支持在同组内将 Pod 共置，以优化性能。
• 全部或无重启：如果组内任一 Pod 失败，整个组将被重建，以保持一致性。
• 支持非统一架构：专为 LLM 推理中的独立预填充和解码阶段而设计。
• 协调式滚动更新：在更新过程中同步更新多个角色，以保持容量比例。