huggingface/gpu-fryer

解决的问题

GPU fryer 旨在对 NVIDIA GPU 进行压力测试，以检测异常的热节流或性能下降。这对于 ML 推理和训练工作负载尤其关键，因为整个系统的性能通常受限于集群中最慢的 GPU。

工作原理

该工具创建两个 8192x8192 的矩阵，并使用 CUBLAS 执行连续的矩阵乘法。为最大化压力，它将 95% 的 GPU 内存分配用于以环形缓冲区方式写入结果。它使用 NVML 监控温度和节流状态。根据 GPU 的能力，它可以使用 FP32、BF16 或 FP8 精度来对 Tensor Cores 进行压力测试。

适用人群

专为 HPC 集群和 ML 基础设施的工程师和运维人员设计，例如 Hugging Face 使用的系统，以确保系统中所有 GPU 均处于峰值性能状态。

主要特性

• 多 GPU 性能检查：检查系统中所有 GPU 的性能是否一致。
• 精度选项：支持 FP32、BF16 和 FP8 精度模式。
• 热监控：报告温度及硬件/软件节流状态。
• Docker 支持：提供可直接使用的 Docker 镜像，便于快速部署。