kubernetes-sigs/lws

解決的問題

本專案提供 Kubernetes API，用於管理需要多個 Pod 作為單一單位協同運作的 AI/ML 推論工作負載。特別針對大型語言模型（LLM）在多個裝置與節點之間分片部署的挑戰，確保這些 Pod 以整體方式建立、擴展與更新，而非獨立實體。

運作方式

本專案引入兩個主要 API：

• LeaderWorkerSet (LWS)：管理由單一領導 Pod 與多個工作 Pod 組成的「超級 Pod」。確保組內 Pod 具有唯一識別（索引），可並行建立，並支援使用搶佔式排程（全部或無）進行排程。
• DisaggregatedSet (DS)：基於 LWS，支援更進階的非整合架構，其中推論的不同階段（如預填入與解碼）在不同基礎設施上執行。協調多個角色的滾動更新，並管理用於發現與路由的無頭服務。

適用對象

負責管理大規模 AI 模型之高效率分散式推論服務堆疊的基礎設施工程師與 Kubernetes 運維人員。

主要特色

• 單元式複製：將一組 Pod 視為單一單位，用於擴展、滾動更新與故障處理。
• 拓撲感知佈署：支援在同組內將 Pod 共置，以優化效能。
• 全部或無重啟：若組內任一 Pod 失敗，整個組將被重建，以維持一致性。
• 支援非整合架構：專為 LLM 推論中的獨立預填入與解碼階段而設計。
• 協調式滾動更新：更新過程中同步更新多個角色，以維持容量比例。