cncf/k8s-ai-conformance

Kubernetes AI Conformance

解決的問題

本專案建立了一種在 Kubernetes 上執行 AI/ML 工作負載的標準化方法。它透過定義 Kubernetes 平台必須滿足的基本能力,解決了 AI 應用在一個叢集上運作正常,但在另一個叢集上失敗的平台特定不一致問題,進而確保平台可被認證為「AI 相容」。

如何運作

該計畫作為 Kubernetes 平台供應商的認證流程。供應商必須首先具備 Kubernetes 相容性,然後提交自我評估清單以及公開證據(文件與測試結果),以證明其支援所需的 AI/ML 能力。從 v1.37 開始,該計畫支援混合驗證方法,結合自動化測試結果(如 Gang 排程與安全加速器存取)與人工證明。

適用對象

  • Kubernetes 平台供應商:希望取得認證以證明其平台在 AI 工作負載上的可靠性。
  • AI 工具開發者:需要一個清晰、與供應商無關的基準來建構與測試其工具。
  • 終端使用者:希望確保其 AI 工作負載可在不同 Kubernetes 平台間移植的使用者。

主要亮點

  • 廣泛的工作負載支援:涵蓋訓練(分散式/大型作業)、推論(模型/LLM 服務)與代理工作負載(多步驟工作流程)。
  • 認證生命周期:認證有效期限為一年,與 Kubernetes 發布週期對齊。
  • 混合驗證:結合自動化測試與人工文件審查。
  • 供應商中立的基準:由社群主導的行動,確保整個生態系的 AI 可移植性。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案