psalias2006/gpu-hot

解決的問題

GPU Hot 提供了一個輕量級的自託管儀表板，用於即時監控 NVIDIA GPU。它透過提供基於 Web 的介面來追蹤單台機器或整個 GPU 伺服器集群的硬體指標與進程使用情況，消除了複雜監控設定的需求。

工作原理

該工具使用 FastAPI 後端，透過 NVML (NVIDIA Management Library) 或針對舊硬體的 nvidia-smi 回退方案來收集指標。它透過 WebSockets 將這些數據即時傳輸到 Web 前端，用於渲染歷史圖表與狀態卡片。對於多節點設定，它可以運行在「中心模式 (hub mode)」下，由一個中央中心聚合器收集並顯示來自多個遠端 GPU 節點的數據。

適用對象

專為需要在模型訓練或推論期間監控 GPU 利用率、溫度與功耗的開發人員、機器學習工程師與系統管理員設計，尤其是在管理多個 GPU 伺服器時。

亮點

• 即時監控：利用率、溫度、記憶體與功耗的亞秒級指標更新。
• 集群擴展：利用中心輻輳型 (hub-and-spoke) 架構，實現從單個 GPU 到跨多個節點的 100 多個 GPU 的擴展能力。
• 進程追蹤：監控活動中的 GPU 進程，包括 PID 與記憶體使用情況。
• 系統整合：在追蹤 GPU 數據的同時，追蹤 CPU、RAM、swap 與磁碟使用情況等主機級指標。
• 高效資源利用：在沒有用戶端連接時自動暫停輪詢，以最大限度地減少 CPU 開銷。