kennss/SiliconScope

解決的問題

SiliconScope 是一款適用於 Apple Silicon Mac 的系統監控工具，能夠顯示「活動監視器」等標準工具無法提供的深度硬體指標。它透過提供對神經網路引擎 (ANE)、媒體引擎和記憶體頻寬的即時可見性，專門滿足在裝置上處理 AI 和媒體工作負載的開發人員的需求——這些是本地 LLM 和 AI 模型的主要瓶頸。

運作方式

該應用程式是一個原生的 SwiftUI 儀表板和選單列套件。它結合了公開和私有的 Apple API 來存取硬體資料，而無需 root (sudo) 權限：

• IOReport Framework：用於提取各網域的功耗 (CPU、GPU、ANE、DRAM)、叢集駐留率和記憶體頻寬。
• SMC & HID：使用精心策劃的各世代 SMC FourCC 金鑰和 HID 感測器映射表，為 E-core、P-core、GPU 和記憶體提供準確的各單元溫度。
• Process Inspector：利用 proc_pid_rusage 來顯示各行程的功耗、IPC，特別是神經網路引擎的記憶體使用量。
• Fleet Management：可在其他 Mac 或 Linux/NVIDIA 機器上安裝遠端代理程式，透過 TLS 加密連線將指標（包括遠端 Mac 的 ANE）串流傳輸到中央儀表板。

適用對象

• AI 開發人員：執行本地 LLM 或 CoreML 模型，且需要了解其工作負載是受限於運算、頻寬還是受到熱節流的人。
• 進階使用者：想要一個詳細、iStat 風格的選單列監控器，以獲得深度硬體見解的 Mac 使用者。
• Headless Mac/Linux 系統管理員：管理多台機器，並希望透過單一介面全面掌握其 GPU 和 AI 加速器使用率的使用者。

亮點

• ANE 與媒體引擎追蹤：對 Apple 的 AI 和媒體加速器進行即時的功耗和頻寬監控。
• Process Inspector：無需 sudo 的各行程指標，包括 P/E 核心分配、IPC 和神經網路引擎記憶體使用量。
• 錄製與重播：類似 DVR 的功能，可將系統指標錄製到 .ssrec 檔案中，以供後續分析和檢視。
• AI 工作負載分類器：自動識別系統是受限於頻寬、運算還是受到熱節流。
• 機群支援：支援對其他 Mac（包括 ANE）和 Linux/NVIDIA 機器（顯示 VRAM 和 Ollama 模型）的遠端監控。
• 選單列套件：為每個主要系統指標提供高度可自訂的 iStat 風格圖像和下拉選單。