NVIDIA/gpu-operator

NVIDIA GPU Operator creates, configures, and manages GPUs in Kubernetes

해결하는 문제

Kubernetes 노드에 NVIDIA GPU를 구성하는 것은 일반적으로 여러 소프트웨어 구성 요소(드라이버, 컨테이너 런타임, 라이브러리 등)를 여러 노드 간에 관리해야 하기 때문에 어려우며 실수가 발생하기 쉽습니다.

작동 방식

Kubernetes Operator 프레임워크를 사용하여 모든 필요한 NVIDIA 소프트웨어 구성 요소의 배포 및 라이프사이클 관리를 자동화합니다. 이 구성 요소들(예: NVIDIA 드라이버, GPU용 Kubernetes 디바이스 플러그인, NVIDIA 컨테이너 런타임, DCGM 기반 모니터링 등)은 컨테이너로 실행되어 쉽게 시작, 중지, 교체할 수 있습니다.

대상 사용자

CPU 노드와 동일한 방식으로 GPU 노드를 쉽게 관리해야 하는 Kubernetes 클러스터 관리자. 특히 표준 OS 이미지를 사용하여 클라우드 또는 온프레미스 인프라에서 빠르게 확장이 필요한 환경에 적합합니다.

주요 기능

  • NVIDIA 드라이버, 디바이스 플러그인, 컨테이너 런타임의 자동 프로비저닝
  • CPU 및 GPU 노드 모두에서 표준 OS 이미지 사용 가능
  • 소프트웨어 구성 요소의 라이프사이클 자동화를 통해 확장성 향상
  • 자동 노드 레이블링 및 DCGM 기반 모니터링 제공

관련

  • 프로젝트
    NVIDIA/k8s-device-plugin

    NVIDIA k8s‑device‑plugin은 NVIDIA GPU를 위한 Kubernetes의 device‑plugin API를 구현한 공식 DaemonSet입니다. GPU를 검색하고, 상태를 보고하며, `nvidia.com/gpu` 리소스(선택적 MIG 및 shared‑GPU 모드 포함)를 통해 스케줄링 가능하게 만듭니다. 각 노드에 NVIDIA 드라이버와 컨테이너 툴킷을 설치하고, 플러그인(정적 매니페스트 또는 Helm)을 배포한 다음 pod 스펙에서 GPU를 요청합니다. 구성은 플래그, 환경 변수 또는 YAML 파일을 통해 가능하며, MIG 전략, 장치 목록 전달, 공유 GPU(타임 슬라이싱 또는 MPS) 등을 다룹니다. 이 플러그인은 베타 버전이며, 완전한 상태 확인/정리가 부족하고 공식 NVIDIA 버전만 지원됩니다.

  • 프로젝트
    NVIDIA/NVSentinel

    NVSentinel은 Kubernetes용 자동 GPU 장애 감지 및 복구 시스템으로, 하드웨어 상태를 모니터링하고 노드 코딩, 드레이닝, 복구를 수행하여 안정적인 AI 인프라를 보장합니다.

  • 프로젝트
    kaito-project/kaito

    LLM 추론, 피니튜닝, RAG 엔진의 배포, 스케일링 및 관리를 자동화하는 Kubernetes Operator 스위트입니다.

  • 프로젝트
    ROCm/k8s-device-plugin

    Kubernetes 디바이스 플러그인으로, AMD GPU를 컨테이너 클러스터 내의 계산 리소스로 등록하고 스케줄링할 수 있도록 합니다.

  • 프로젝트
    ray-project/kuberay

    KubeRay는 CNCF 사운드박스의 Kubernetes 오퍼레이터로, AI/ML 학습 및 서빙용 Ray 클러스터를 선언적으로 배포하고 관리하기 위한 CRD(RayCluster, RayJob, RayService)를 제공하며, 선택적 CLI 플러그인, API 서버 및 대시보드를 지원합니다.