cncf/k8s-ai-conformance
Kubernetes AI Conformance
解決的問題
本專案建立了一種在 Kubernetes 上執行 AI/ML 工作負載的標準化方法。它透過定義 Kubernetes 平台必須滿足的基本能力,解決了 AI 應用在一個叢集上運作正常,但在另一個叢集上失敗的平台特定不一致問題,進而確保平台可被認證為「AI 相容」。
如何運作
該計畫作為 Kubernetes 平台供應商的認證流程。供應商必須首先具備 Kubernetes 相容性,然後提交自我評估清單以及公開證據(文件與測試結果),以證明其支援所需的 AI/ML 能力。從 v1.37 開始,該計畫支援混合驗證方法,結合自動化測試結果(如 Gang 排程與安全加速器存取)與人工證明。
適用對象
- Kubernetes 平台供應商:希望取得認證以證明其平台在 AI 工作負載上的可靠性。
- AI 工具開發者:需要一個清晰、與供應商無關的基準來建構與測試其工具。
- 終端使用者:希望確保其 AI 工作負載可在不同 Kubernetes 平台間移植的使用者。
主要亮點
- 廣泛的工作負載支援:涵蓋訓練(分散式/大型作業)、推論(模型/LLM 服務)與代理工作負載(多步驟工作流程)。
- 認證生命周期:認證有效期限為一年,與 Kubernetes 發布週期對齊。
- 混合驗證:結合自動化測試與人工文件審查。
- 供應商中立的基準:由社群主導的行動,確保整個生態系的 AI 可移植性。
相關
- 專案
- 專案
- 專案
- 專案
- 專案