huggingface/gpu-fryer

何を解決するか

GPU fryer は、NVIDIA GPU の異常な熱制限や性能低下を検出するためのストレステストツールです。ML 推論およびトレーニングワークロードにおいて、システム全体の性能がクラスタ内の最も遅い GPU によって制限されることが多いため、この検出は特に重要です。

動作方法

このツールは、2つの 8192x8192 の行列を作成し、CUBLAS を使用して連続的な行列乗算を実行します。最大限の負荷をかけるために、GPU メモリの 95% を割り当てて、リングバッファ方式で結果を書き込みます。NVML を使用して温度および制限状態を監視します。GPU の能力に応じて、FP32、BF16、または FP8 の精度を使用して Tensor Cores をストレステストできます。

対象ユーザー

HPC クラスタや ML インフラのエンジニアおよび運用担当者（例：Hugging Face で使用されるもの）向けです。システム内のすべての GPU が最高性能で動作していることを保証するために設計されています。

特徴

• マルチGPU性能チェック: システム内のすべての GPU における均一な性能を確認します。
• 精度オプション: FP32、BF16、FP8 の精度モードをサポートします。
• 熱監視: 温度およびハードウェア/ソフトウェアの制限状態を報告します。
• Docker 対応: クイックデプロイ用の準備完了済み Docker イメージを提供します。