kubeflow/trainer

解決的問題

Kubeflow Trainer 是專為處理大型語言模型（LLM）的分散式 AI 訓練與微調複雜性而設計。它簡化了在 Kubernetes 集群上跨多節點、多 GPU 的工作負載編排，確保高效率通訊與資源的高效利用。

工作原理

它作為一個 Kubernetes 原生平台，使用 TrainJob 與 Runtimes 等 API 來編排分散式工作。它利用現有的 Kubernetes 建構模組，如 JobSet 與 LeaderWorkerSet 進行編排。為優化效能，它將 MPI（訊息傳遞介面）引入 Kubernetes，實現 GPU 節點間的快速同步，並提供分散式資料快取，支援大規模資料直接零複製傳輸至 GPU。

適用對象

需要使用 PyTorch、JAX、DeepSpeed、Megatron-LM 等多種框架，在高效能運算（HPC）叢集上擴展 LLM 及其他 AI 模型的訓練或微調的 AI 實務者與 ML 工程師。

主要特色

• 多框架支援：支援 PyTorch、MLX、HuggingFace、DeepSpeed、Megatron-LM、JAX 與 XGBoost 等廣泛框架。
• 拓撲感知排程：與 Kueue、Slurm Bridge 與 KAI Scheduler 整合，實現進階 GPU 與多叢集排程。
• 高效率通訊：使用 MPI 實現節點間程序的高吞吐量通訊。
• 分散式資料快取：實作零複製資料串流機制，最大化 GPU 使用率並減少記憶體開銷。