Syllo/nvtop

해결하는 문제

NVTOP는 CPU의 htop과 유사하게 GPU 및 AI 가속기용 실시간 상호작용 작업 모니터를 제공합니다. 다양한 하드웨어 제조업체의 하드웨어에서 통합된 시각적 방법을 통해 단일 터미널 인터페이스에서 하드웨어 사용률, 온도, 전력 소비를 모니터링할 수 있는 문제를 해결합니다.

작동 방식

NVTOP는 NVML(NVIDIA용), libdrm(AMD/Intel용), 그리고 Tenstorrent 또는 화웨이 아센드와 같은 가속기용 다양한 전용 라이브러리와 드라이버를 통해 하드웨어 정보를 쿼리합니다. 그런 다음 ncurses 라이브러리를 사용하여 터미널에서 시각 대시보드를 렌더링하여 GPU/메모리 사용률, 클럭, PCIe 대역폭과 같은 메트릭을 표시합니다.

대상 사용자

모델 학습, 추론 또는 일반 컴퓨팅 작업 중 GPU 및 AI 가속기의 성능과 상태를 모니터링해야 하는 개발자, 데이터 과학자, 시스템 관리자에게 적합합니다.

주요 기능

• 광범위한 하드웨어 지원: NVIDIA, AMD, Intel, Apple(M1/M2), 화웨이 아센드, Tenstorrent, Rockchip, MetaX, Enflame, Iluvatar CoreX와 호환됩니다.
• 상호작용 인터페이스: F2 키를 사용해 어떤 메트릭을 플롯할지 사용자 정의할 수 있는 설정 유틸리티를 포함합니다.
• 상세한 메트릭: GPU 및 메모리 사용률, 온도, 전력, 클럭, PCIe RX/TX 부하를 추적합니다.
• 프로세스 모니터링: 현재 GPU 하드웨어를 사용 중인 프로세스 목록을 표시합니다.