NVIDIA/aicr

解決する課題

GPU加速Kubernetesクラスターの実行は、カーネルバージョン、ドライバー、コンテナランタイム、Kubernetesリリースのわずかな不一致が原因で診断困難な障害を引き起こすことが多く、信頼性に欠ける場合があります。AI Cluster Runtime (AICR) は、「レシピ」と呼ばれるバージョン固定された検証済み構成を提供することで、特定のワークロードに対して適切なソフトウェアとハードウェアの組み合わせが使用されることを保証し、推測による運用を排除します。

仕組み

AICRはレシピエンジンを使用し、ユーザーのターゲット環境（クラウドプロバイダー、GPUタイプ、OS、ワークロードの目的）を、検証済みのoverlaysおよびmixinsのライブラリと照合します。次に、バンドラーを使用してこれらのレシピを、Helm、Argo CD、Flux、Helmfileといった一般的なGitOpsツール向けのデプロイ可能なアーティファクトに変換します。クラスターが意図した通りに動作していることを確認するため、Snapshot Agentがクラスターのライブ状態をキャプチャし、AICRバリデーターがそれを元のレシピと比較して、構成のドリフトやパフォーマンスの問題をチェックします。

対象ユーザー

さまざまなクラウドプロバイダー（AWS、GCP、Azure）やオンプレミス環境において、AIトレーニングおよび推論ワークロードのためにGPU加速Kubernetesクラスターを管理するプラットフォームエンジニアおよびDevOpsチーム。

ハイライト

• マルチデプロイヤーサポート: Argo CD、Flux、Helm、Helmfileと互換性のあるバンドルを生成します。
• 包括的な検証: デプロイ、パフォーマンス（トレーニング/推論）、および適合性に関する多段階の検証が含まれます。
• サプライチェーンセキュリティ: Cosign/Sigstoreを使用したSLSA Build Level 3の来歴証明、署名済みSBOM、およびイメージアテステーションを実装しています。
• ドリフト検出: クラスターのスナップショットを比較して、時間の経過に伴う構成変更を特定する機能。
• 幅広いハードウェアサポート: H100、A100、B200、L40Sを含む、幅広いNVIDIA GPUで検証済みです。