NVIDIA/NVSentinel
NVSentinel detects and remediates GPU faults on Kubernetes nodes
해결하는 문제
NVSentinel은 Kubernetes 클러스터에서 GPU 하드웨어 장애로 인해 발생할 수 있는 무음 데이터 손상, 훈련 작업 실패, 또는 컴퓨팅 리소스 낭비 문제를 해결합니다. 장애가 있는 GPU 노드의 감지, 격리, 복구를 자동화하여 클러스터 신뢰성을 유지합니다.
작동 방식
NVSentinel은 Kubernetes 내에서 모듈식 시스템으로 작동합니다. 다양한 상태 모니터(예: GPU 메트릭용 DCGM, syslog, 클라우드 공급자 이벤트)를 사용하여 장애를 감지합니다. 장애가 식별되면 중앙 이벤트 저장소를 통해 조정하여 노드를 코딩하고, 활성 워크로드를 드레이닝하여 작업 실패를 방지하며, GPU 리셋 또는 전체 노드 재부팅과 같은 자동 복구 작업을 트리거합니다. 또한 비정상 하드웨어에 새 작업이 스케줄링되지 않도록 사전 점검 기능도 포함합니다.
대상 사용자
이 도구는 Kubernetes에서 대규모 NVIDIA GPU 인프라를 관리하는 클러스터 관리자와 MLOps 엔지니어를 위해 설계되었으며, 노드 유지 관리를 자동화하고 AI 훈련 및 추론 워크로드의 가동 시간을 개선하려는 사용자를 대상으로 합니다.
주요 기능
- GPU, NIC 및 시스템 수준 장애의 실시간 감지.
- 장애가 작업에 영향을 미치기 전에 노드를 코딩하고 드레이닝하여 자동 보호.
- 자동 GPU 리셋 또는 노드 재부팅을 통한 자가 치유 기능.
- 사용자 정의 상태 모니터 및 복구 전략을 허용하는 확장 가능한 아키텍처.
- 작업 실행 전 하드웨어 준비 상태를 확인하는 사전 점검.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트