accel-sim/accel-sim-framework

Accel‑Sim 2.0 – 最新AIワークロードのためのサイクルレベルGPUシミュレーション

概要 – Accel‑Simは、研究者がNVIDIAハードウェア上で実際のGPU実行（SASSアセンブリ）をトレースし、詳細なサイクル精度シミュレータ（GPGPU‑Sim 4.x）とAccelWattch電力モデルでそのトレースを再生できるようにするオープンソースフレームワークです。バージョン2.0では、最新のHopper GPU（H100/H200）の完全サポートが追加され、新しい命令、メモリサブシステム機能、および「GPUVision」プロファイリングフロントエンドが含まれます。

AIにとって重要な理由 – このシミュレータは、手書きカーネルなしでLLM推論およびトレーニングパイプライン（vLLM、PyTorch）をエンドツーエンドでモデル化できます。著者らは、34,000以上のカーネルにわたって実際のH100ハードウェアとの99％のピアソン相関を報告しており、大規模トランスフォーマーモデルに対する性能および電力見積もりが現実的であるという信頼性を与えています。

主要コンポーネント

• トレーサ – 実際のGPU上でSASS実行を記録するNVBitベースの計装。圧縮された.tracezファイルとPyTorch/vLLM用のレイヤー毎フックをサポート。
• SASSフロントエンド/シミュレーションエンジン – GPGPU‑Sim 4.xに加え、Hopper固有のマイクロアーキテクチャモデル（TMA、WGMMA、mbarrier、スレッドブロッククラスタ、チップレット対応L2、HBM3/eタイミング）。
• 相関ツール（GPUVision） – シミュレーションされたサイクル、命令数、メモリ統計をNsight Computeデータと比較するツール。
• チューナー – 構成パラメータの探索とモデルのキャリブレーションのためのスクリプト。
• AccelWattch – 性能と並行してエネルギー消費を推定する統合電力モデル。

典型的なワークフロー

1. ビルド – シミュレータをビルド（CMake + Python依存関係）。
2. トレース – 提供されたNVBitスクリプト（またはLLMレイヤー用のtorchフック）を使用して、実際のGPU上でアプリケーションをトレース。
3. 後処理 – 生トレースを圧縮された.tracez形式に変換。
4. 実行 – run_simulations.pyランチャーでHopper構成（H100‑SASS、H200‑SASSなど）を使用してシミュレータを実行。
5. 分析 – 組み込みモニタリング、get_stats.py、オプションのプロットスクリプトで結果を分析。

クイックスタート – リポジトリにはnvidia/cuda:12.8.0‑cudnn‑devel‑ubuntu24.04に基づくDockerイメージが含まれています。イメージをプルした後、「クイックスタート」セクションに従って、シミュレータをビルドし、付属のgpu‑app‑collectionからベンチマークをトレースし、数コマンドでシミュレーションを実行できます。

事前収集トレース – NVIDIA GPUにアクセスできないユーザーのために、リリースには人気モデル（BERT、ResNet‑50、SDXL、Llama 3.1 8Bなど）の既製Hopperトレースが含まれています。get-accel-sim-traces.pyでダウンロードして、直接シミュレーションしてください。

ロードマップ – 今後の作業には、次世代Blackwell GPUおよびマルチGPU/NVLink構成の実験的サポートが含まれます。

誰が使用すべきか – 新しいHopper機能または大規模LLMワークロードに対して正確で検証済みの性能またはエネルギー見積もりを必要とするGPUアーキテクト、性能研究者、およびAIシステム設計者。