psalias2006/gpu-hot

解決する課題

GPU Hotは、NVIDIA GPUをリアルタイムで監視するための軽量なセルフホスト型ダッシュボードを提供します。単一のハードウェアからGPUサーバーのクラスター全体に至るまで、ハードウェアメトリクスとプロセス使用状況を追跡するためのWebベースのインターフェースを提供することで、複雑な監視設定の必要性を排除します。

仕組み

このツールはFastAPIバックエンドを使用し、NVML (NVIDIA Management Library) または古いハードウェア用のフォールバックとして nvidia-smi を介してメトリクスを収集します。収集されたデータはWebSocketsを通じてWebフロントエンドにリアルタイムで送信され、履歴チャートやステータスカードとして描画されます。マルチノード構成の場合、「ハブモード」で動作させることができ、中央のハブアグリゲーターが複数のリモートGPUノードからデータを収集して表示します。

対象ユーザー

モデルのトレーニングや推論中に、GPUの利用率、温度、消費電力を監視する必要がある開発者、MLエンジニア、およびシステム管理者向けに設計されています。特に複数のGPUサーバーを管理している場合に最適です。

ハイライト

• リアルタイムモニタリング: 利用率、温度、メモリ、消費電力に関するサブ秒単位のメトリクス更新。
• クラスターのスケーリング: ハブ・アンド・スポークアーキテクチャを使用して、単一のGPUから複数のノードにわたる100台以上のGPUまで拡張可能。
• プロセス追跡: PIDやメモリ使用量を含む、アクティブなGPUプロセスを監視。
• システム統合: GPUデータに加えて、CPU、RAM、swap、ディスク使用量などのホストレベルのメトリクスを追跡。
• 効率的なリソース使用: CPUオーバーヘッドを最小限に抑えるため、クライアントが接続されていないときはポーリングを自動的に停止。