NVIDIA/gpu-operator

NVIDIA GPU Operator creates, configures, and manages GPUs in Kubernetes

解决的问题

在 Kubernetes 节点上配置 NVIDIA GPU 通常非常困难且容易出错，因为需要在不同节点之间管理多个软件组件，包括驱动程序、容器运行时和库。

工作原理

它使用 Kubernetes Operator 框架，自动部署和管理所有必要的 NVIDIA 软件组件。这些组件——包括 NVIDIA 驱动程序、GPU 的 Kubernetes 设备插件、NVIDIA 容器运行时以及基于 DCGM 的监控工具——均以容器形式运行，可轻松启动、停止或替换。

适用人群

需要像管理 CPU 节点一样轻松管理 GPU 节点的 Kubernetes 集群管理员，尤其适用于需要使用标准操作系统镜像在云或本地基础设施上快速扩展的环境。

主要亮点

  • 自动化 NVIDIA 驱动程序、设备插件和容器运行时的部署。
  • 支持 CPU 和 GPU 节点均使用标准操作系统镜像。
  • 通过自动化软件组件的生命周期，简化扩展过程。
  • 提供自动节点标签和基于 DCGM 的监控。

相关

  • 项目
    NVIDIA/k8s-device-plugin

    NVIDIA k8s‑device‑plugin 是一个官方的 DaemonSet，为 NVIDIA GPU 实现了 Kubernetes 的 device‑plugin API。它会发现 GPU、报告健康状况，并通过 `nvidia.com/gpu` 资源（包含可选的 MIG 与 shared‑GPU 模式）使其可被调度。在每个节点上安装 NVIDIA 驱动程序和容器工具包，部署该插件（使用静态清单或 Helm），然后在 pod 规格中请求 GPU。配置可通过标志、环境变量或 YAML 文件进行，涵盖 MIG 策略、设备列表传递、共享 GPU（时间切片或 MPS）等。该插件目前为 beta 版，缺乏完整的健康检查/清理机制，且仅支持官方 NVIDIA 版本。

  • 项目
    NVIDIA/NVSentinel

    NVSentinel 是一个用于 Kubernetes 的自动化 GPU 故障检测与修复系统，它监控硬件健康状态，并执行节点封锁、排空和修复操作，以确保 AI 基础设施的可靠性。

  • 项目
    kaito-project/kaito

    一个自动化 LLM 推理、微调和 RAG 引擎部署、扩展和管理的 Kubernetes Operator 套件。

  • 项目
    ROCm/k8s-device-plugin

    一个 Kubernetes 设备插件，可将 AMD GPU 注册并调度为容器集群中的计算资源。

  • 项目
    ray-project/kuberay

    KubeRay 是 CNCF 沙盒中的 Kubernetes 运算符，提供 CRD（RayCluster、RayJob、RayService）以声明式方式部署和管理 AI/ML 训练和推理用的 Ray 集群，支持可选的 CLI 插件、API 服务器和仪表板。