Syllo/nvtop

What it solves

NVTOP 提供了一個類似於 htop 監控 CPU 的方式，為 GPU 與 AI 加速器提供即時、互動式的任務監控。它解決了在單一終端機介面中，需要一個統一且視覺化的方式來監控各種不同硬體廠商的硬體利用率、溫度與功耗的問題。

How it works

NVTOP 透過廠商特定的專屬 libraries 與 drivers 進行硬體資訊查詢，例如 NVIDIA 的 NVML、AMD/Intel 的 libdrm，以及針對 Tenstorrent 或 Huawei Ascend 等加速器使用的各種專用 libraries。

它接著使用 ncurses library 進行渲染，在終端機中呈現視覺化儀表板，顯示 GPU/記憶體利用率、時脈、PCIe throughput 如下：

Who it’s for

它設計用於開發者、資料科學家與系統管理員，這些人需要在使用於模型訓練、推論或一般運算任務時，監控 GPU 與 AI 加速器的效能與健康狀態。

Highlights

• Broad Hardware Support: NVIDIA, AMD, Intel, Apple (M1/M2), Huawei Ascend, Tenstorrent, Rockchip, MetaX, Enflame, & Intel (CoreX).
• Interactive Interface: 包含一個設定工具 (F2) 來自定義繪圖的指標。
• Detailed Metrics: 追蹤 GPU 與記憶體利用率、溫度、功耗、時脈與 PCIe RX/TX load。
• Process Monitoring: 顯示目前正在使用 GPU 硬體的程序列表。