huggingface/gpu-fryer

解決的問題

GPU fryer 是設計用於對 NVIDIA GPU 進行壓力測試，以檢測異常的熱節流或性能下降。這對於 ML 推論與訓練工作負載尤其關鍵，因為整個系統的效能通常受限於叢集中最慢的 GPU。

作用方式

該工具會建立兩個 8192x8192 的矩陣，並使用 CUBLAS 進行連續的矩陣乘法。為最大化壓力，它會分配 95% 的 GPU 記憶體，以環形緩衝區方式寫入結果。它使用 NVML 監控溫度與節流狀態。根據 GPU 的能力，可使用 FP32、BF16 或 FP8 精度來對 Tensor Cores 進行壓力測試。

適用對象

專為 HPC 叢集與 ML 基礎設施的工程師與運維人員設計，例如 Hugging Face 使用的系統，以確保系統中所有 GPU 均處於最佳效能狀態。

主要特色

• 多 GPU 性能檢查：檢查系統中所有 GPU 的性能是否一致。
• 精度選項：支援 FP32、BF16 和 FP8 精度模式。
• 熱監控：報告溫度及硬體/軟體節流狀態。
• Docker 支援：提供可立即使用的 Docker 映像，便於快速部署。