huggingface/gpu-fryer

해결하는 문제

GPU fryer는 NVIDIA GPU의 비정상적인 열 제한 또는 성능 저하를 탐지하기 위해 스트레스 테스트를 수행하는 도구입니다. 특히 ML 추론 및 학습 워크로드에서는 시스템 전체 성능이 클러스터 내 가장 느린 GPU에 의해 제한되는 경우가 많기 때문에 이 탐지는 매우 중요합니다.

작동 방식

이 도구는 두 개의 8192x8192 행렬을 생성하고 CUBLAS를 사용하여 지속적인 행렬 곱셈을 수행합니다. 최대 스트레스를 주기 위해 GPU 메모리의 95%를 할당하여 결과를 레인 버퍼 방식으로 기록합니다. NVML을 사용하여 온도 및 제한 상태를 모니터링합니다. GPU의 기능에 따라 FP32, BF16, 또는 FP8 정밀도를 사용하여 Tensor Cores를 스트레스 테스트할 수 있습니다.

대상 사용자

HPC 클러스터 및 ML 인프라의 엔지니어와 운영자(예: Hugging Face에서 사용되는 것들)를 위한 것입니다. 시스템 내 모든 GPU가 최고 성능으로 작동하고 있는지 확인하기 위해 설계되었습니다.

주요 기능

• 다중 GPU 성능 확인: 시스템 내 모든 GPU 간의 균일한 성능을 점검합니다.
• 정밀도 옵션: FP32, BF16, FP8 정밀도 모드를 지원합니다.
• 열 모니터링: 온도 및 하드웨어/소프트웨어 제한 상태를 보고합니다.
• Docker 지원: 빠른 배포를 위한 준비 완료된 Docker 이미지를 제공합니다.