NVIDIA/NVSentinel
NVSentinel detects and remediates GPU faults on Kubernetes nodes
解决的问题
NVSentinel 解决了 Kubernetes 集群中 GPU 硬件故障带来的挑战，这些故障可能导致静默数据损坏、训练任务失败或计算资源浪费。它自动化了故障 GPU 节点的检测、隔离和修复，以维持集群的可靠性。
工作原理
NVSentinel 作为 Kubernetes 内的模块化系统运行。它使用多种健康监控器（如用于 GPU 指标的 DCGM、系统日志和云提供商事件）来检测故障。当识别到故障时，它通过中央事件存储进行协调，封锁节点，排空活动工作负载以防止任务失败，并触发自动修复操作，如 GPU 重置或节点完全重启。它还包含预检功能，以防止新任务被调度到不健康的硬件上。
适用对象
该工具专为管理 Kubernetes 上大规模 NVIDIA GPU 基础设施的集群管理员和 MLOps 工程师设计，帮助他们自动化节点维护并提高 AI 训练和推理工作负载的正常运行时间。
亮点
- 实时检测 GPU、NIC 和系统级故障。
- 通过在故障影响任务前封锁和排空节点，实现自动保护。
- 通过自动 GPU 重置或节点重启实现自愈能力。
- 可扩展架构，支持自定义健康监控器和修复策略。
- 预检确保任务执行前硬件就绪。
相关
- 项目
- 项目
- 项目
- 项目
- 项目