NVIDIA/gpu-operator
NVIDIA GPU Operator creates, configures, and manages GPUs in Kubernetes
何を解決するか
Kubernetes ノードに NVIDIA GPU を設定することは、通常、複数のソフトウェアコンポーネント（ドライバ、コンテナランタイム、ライブラリなど）を異なるノード間で管理する必要があるため、困難でエラーが発生しやすいです。
動作方法
Kubernetes Operator フレームワークを使用して、すべての必要な NVIDIA ソフトウェアコンポーネントのデプロイとライフサイクル管理を自動化します。これらのコンポーネント（NVIDIA ドライバ、GPU の Kubernetes デバイスプラグイン、NVIDIA コンテナランタイム、DCGM を使用したモニタリングなど）はコンテナとして実行され、簡単に起動、停止、切り替えが可能です。
対象ユーザー
CPU ノードと同様に GPU ノードを簡単に管理したい Kubernetes クラスタ管理者。特に、標準の OS イメージを使用してクラウドまたはオンプレミスのインフラ上で迅速にスケーリングが必要な環境に適しています。
特徴
- NVIDIA ドライバ、デバイスプラグイン、コンテナランタイムのプロビジョニングを自動化。
- CPU ノードと GPU ノードの両方で標準の OS イメージを使用可能。
- ソフトウェアコンポーネントのライフサイクルを自動化することでスケーリングを簡素化。
- ノードの自動ラベル付けと DCGM を使用したモニタリングを提供。
関連
- プロジェクト
NVIDIA/k8s-device-pluginNVIDIA k8s‑device‑plugin は、NVIDIA GPU 向けに Kubernetes の device‑plugin API を実装した公式 DaemonSet です。GPU を検出し、ヘルス状態を報告し、`nvidia.com/gpu` リソース（オプションで MIG や shared‑GPU モード）を通じてスケジュール可能にします。各ノードに NVIDIA ドライバーとコンテナツールキットをインストールし、プラグイン（静的マニフェストまたは Helm）をデプロイしてから、pod 仕様で GPU を要求します。設定はフラグ、環境変数、または YAML ファイルで行うことができ、MIG 戦略、デバイスリストの配信、共有 GPU（タイムスライシングまたは MPS）などが含まれます。このプラグインはベータ版であり、完全なヘルスチェック/クリーンアップが欠如しており、公式の NVIDIA バージョンのみがサポートされています。
- プロジェクト
NVIDIA/NVSentinelNVSentinel は、Kubernetes 向けの自動 GPU 障害検出および修復システムであり、ハードウェアの健全性を監視し、ノードの隔離、ドレイン、修復を実行して、信頼性の高い AI インフラストラクチャを確保します。
- プロジェクト
- プロジェクト
- プロジェクト
ray-project/kuberayKubeRayは、CNCFサンドボックスのKubernetesオペレーターで、AI/ML学習およびサービング用のRayクラスタを宣言的にデプロイ・管理するためのCRD（RayCluster、RayJob、RayService）を提供します。CLIプラグイン、APIサーバー、ダッシュボードをオプションで利用可能。