accel-sim/accel-sim-framework

解決的問題

Accel-Sim 是一個用於提供 NVIDIA GPU 高精度性能建模的週期級 GPU 模擬器。它解決了每次架構實驗或效能分析都需要真實硬體的問題，讓開發者與研究人員能以極高的保真度模擬現代工作負載（包含 LLM 推論與訓練），而無需依賴真實矽片。

工作原理

該框架採用追蹤驅動的方法。首先使用基於 NVBit 的追蹤器從 NVIDIA 硬體中擷取真實的 SASS（Shader Assembly）執行。這些追蹤資料隨後在詳細的效能模型（GPGPU-Sim 4.x）與 AccelWattch 電力模型結合的環境中進行重播。

Accel-Sim 2.0 特別增加了對 NVIDIA Hopper 架構（H100/H200）的支援，能夠建模複雜的特性，如 Tensor Memory Accelerator（TMA）、非同步 Warp Group MMA（WGMMA）與線程塊群組。對於 LLM，它提供了一個 PyTorch 鈎子，允許使用者僅追蹤模型中特定的代表性層（例如在 vLLM 中），而非追蹤整個模型，從而避免計算成本過高。

適用對象

主要面向需要分析 GPU 硬體利用率、能耗以及架構變更對 AI 工作負載影響的電腦架構師、GPU 研究人員與 AI 工程師。

主要亮點

• 高精度： 在超過 34,000 個內核實例上與真實 H100 矽片驗證，皮爾遜相關係數達 99%。
• 完整 Hopper 支援： 建模 H100/H200 特有功能，包括 TMA、WGMMA 與 mbarrier 同步。
• LLM 就緒： 原生支援 vLLM 推論與 PyTorch 訓練步驟的追蹤，無需手動撰寫內核。
• 功耗建模： 集成 AccelWattch 與 GPUWattch 模型，支援能耗分析。
• 靈活追蹤： 支援 SASS 追蹤驅動模擬與 PTX 執行驅動模式。