leptonai/gpud

GPUd automates monitoring, diagnostics, and issue identification for GPUs

What it solves

GPUd는 하드웨어를 능동적으로 모니터링하고 AI/ML 워크로드를 관리하여 GPU 효율성과 신뢰성을 보장합니다. 대규모 클러스터에서 장애를 방지하고 리소스 활용도를 최적화하기 위해 GPU 상태 및 성능 지표에 대한 통합된 뷰를 제공합니다.

How it works

GPUd는 Linux 머신에서 낮은 점유율로 실행되는 독립형 바이너리입니다. 모니터링 작업을 워크로드의 크리티컬 패스에서 분리하여 CPU 및 메모리 오버헤드를 최소화합니다.

Docker, containerd, Kubernetes, 그리고 NVIDIA 생태계(nvidia-smi, NVML Xid events, DCGM 등)와 통합되어 GPU 및 GPU fabric 지표(전력, 온도, 하드웨어 성능 저하 등)를 수집하고 보고합니다.

Who it’s for

대규모 GPU 클러스터 운영자 및 프로덕션 등급의 모니터링 및 신뢰성 도구가 필요한 AI 인프라 제공업체를 위해 설계되었습니다.

Highlights

  • GPU-Centric Monitoring: 중요한 GPU 및 GPU fabric 지표에 대한 통합된 뷰를 제공합니다.
  • Production Ready: DGX Cloud Lepton의 프로덕션 인프라에서 사용되고 있습니다.
  • Easy Deployment: 간단한 스크립트, systemd 또는 Kubernetes용 Helm charts를 통한 설치를 지원합니다.
  • Comprehensive Error Detection: kmsg, NVML Xid events, DCGM을 통해 심각한 하드웨어 오류를检测합니다.

관련

  • 프로젝트
    NVIDIA/DCGM

    클러스터 환경에서 NVIDIA 데이터센터 GPU를 관리하고 모니터링하기 위한 도구 세트로, 건강 모니터링, 진단, 거버넌스 정책을 제공합니다.

  • 프로젝트
    psalias2006/gpu-hot

    단일 머신 또는 멀티 노드 클러스터 추적을 지원하는 가벼운 셀프 호스팅 실시간 NVIDIA GPU 모니터링 대시보드

  • 프로젝트
    wentbackward/nv-monitor

    CPU, GPU, 메모리 메트릭을 추적하기 위한 경량이고 의존성이 없는 모니터링 도구. TUI, CSV 로깅, Prometheus 에크스포터 제공.

  • 프로젝트
    Syllo/nvtop

    다양한 하드웨어 제조업체에서 실시간 시각적 모니터링을 제공하는 GPU 및 AI 가속기용 htop 유사 작업 모니터입니다.

  • 프로젝트
    MiaAI-Lab/sparkDash

    sparkDash는 NVIDIA DGX Spark 클러스터 및 GPU 지원 Linux/Windows 호스트를 모니터링하기 위한 Docker 기반 실시간 웹 대시보드(React + Express)입니다. SSH 수집기를 통해 하드웨어 통계(GPU/CPU, 메모리, 네트워크, 에너지)와 LLM 추론 메트릭(초당 토큰 수, 캐시, 지연 시간)을 스트리밍하며, 내장 벤치마크, 선택적 ComfyUI 및 Hermes Agent 통합, Prometheus 내보내기, 모바일 친화적인 PWA를 지원합니다.