NVIDIA/NVSentinel
NVSentinel detects and remediates GPU faults on Kubernetes nodes
解決する問題
NVSentinel は、Kubernetes クラスターにおける GPU ハードウェア障害の課題に対処します。これらの障害は、サイレントなデータ破損、トレーニングジョブの失敗、または計算リソースの無駄遣いにつながる可能性があります。障害のある GPU ノードの検出、分離、修復を自動化し、クラスターの信頼性を維持します。
仕組み
NVSentinel は、Kubernetes 内のモジュール式システムとして動作します。さまざまなヘルスモニター（GPU メトリクス用の DCGM、syslog、クラウドプロバイダーイベントなど）を使用して障害を検出します。障害が特定されると、中央イベントストアを通じて調整し、ノードを隔離し、アクティブなワークロードをドレインしてジョブの失敗を防ぎ、GPU リセットやノードの完全再起動などの自動修復アクションをトリガーします。また、不健全なハードウェアに新しいジョブがスケジュールされないようにするための事前チェック機能も含まれています。
対象読者
このツールは、Kubernetes 上で大規模な NVIDIA GPU インフラストラクチャを管理するクラスター管理者と MLOps エンジニア向けに設計されており、ノードメンテナンスを自動化し、AI トレーニングおよび推論ワークロードの稼働時間を向上させたいと考えています。
ハイライト
- GPU、NIC、システムレベルの障害をリアルタイムに検出。
- 障害がジョブに影響を与える前にノードを隔離およびドレインすることで自動保護。
- 自動 GPU リセットまたはノード再起動による自己修復機能。
- カスタムヘルスモニターと修復戦略を可能にする拡張可能なアーキテクチャ。
- ジョブ実行前のハードウェア準備状態を確認する事前チェック。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト