accel-sim/accel-sim-framework

Accel‑Sim 2.0 – 최신 AI 워크로드를 위한 사이클 레벨 GPU 시뮬레이션

설명 – Accel‑Sim은 연구자들이 NVIDIA 하드웨어에서 실제 GPU 실행(SASS 어셈블리)을 추적하고, 상세한 사이클 정확도 시뮬레이터(GPGPU‑Sim 4.x)와 AccelWattch 전력 모델로 추적을 재생할 수 있게 하는 오픈소스 프레임워크입니다. 버전 2.0은 최신 Hopper GPU(H100/H200)에 대한 완전한 지원을 추가하며, 새로운 명령어, 메모리 하위 시스템 기능, 그리고 “GPUVision” 프로파일링 프론트엔드를 포함합니다.

AI에 중요한 이유 – 이 시뮬레이터는 수동으로 작성된 커널 없이 LLM 추론 및 훈련 파이프라인(vLLM, PyTorch)을 엔드투엔드로 모델링할 수 있습니다. 저자들은 34,000개 이상의 커널에서 실제 H100 하드웨어와 99% 피어슨 상관관계를 보고하여, 대규모 트랜스포머 모델에 대한 성능 및 전력 추정이 현실적이라는 신뢰성을 제공합니다.

주요 구성 요소

• 트레이서 – 실제 GPU에서 SASS 실행을 기록하는 NVBit 기반 계측. 압축된 .tracez 파일과 PyTorch/vLLM용 레이어별 후크를 지원합니다.
• SASS 프론트엔드/시뮬레이션 엔진 – GPGPU‑Sim 4.x와 Hopper 특정 마이크로아키텍처 모델(TMA, WGMMA, mbarrier, 스레드 블록 클러스터, 칩렛 인식 L2, HBM3/e 타이밍).
• 상관 도구(GPUVision) – 시뮬레이션된 사이클, 명령어 수, 메모리 통계를 Nsight Compute 데이터와 비교하는 도구.
• 튜너 – 구성 매개변수 탐색 및 모델 보정을 위한 스크립트.
• AccelWattch – 성능과 함께 에너지 소비를 추정하는 통합 전력 모델.

일반적인 워크플로

1. 빌드 – 시뮬레이터를 빌드(CMake + Python 의존성).
2. 추적 – 제공된 NVBit 스크립트(또는 LLM 레이어용 torch 후크)를 사용하여 실제 GPU에서 애플리케이션을 추적.
3. 후처리 – 원시 추적을 압축된 .tracez 형식으로 변환.
4. 실행 – run_simulations.py 런처로 Hopper 구성(H100‑SASS, H200‑SASS 등)을 사용하여 시뮬레이터를 실행.
5. 분석 – 내장 모니터링, get_stats.py, 선택적 플로팅 스크립트로 결과를 분석.

빠른 시작 – 리포지토리에는 nvidia/cuda:12.8.0‑cudnn‑devel‑ubuntu24.04을 기반으로 하는 Docker 이미지가 포함되어 있습니다. 이미지를 가져온 후 “빠른 시작” 섹션에 따라 시뮬레이터를 빌드하고, 동반 gpu‑app‑collection에서 벤치마크를 추적하고, 몇 가지 명령으로 시뮬레이션을 실행할 수 있습니다.

사전 수집 추적 – NVIDIA GPU에 액세스할 수 없는 사용자를 위해 릴리스에는 인기 모델(BERT, ResNet‑50, SDXL, Llama 3.1 8B 등)에 대한 기성 Hopper 추적이 포함되어 있습니다. get-accel-sim-traces.py로 다운로드한 후 직접 시뮬레이션하세요.

로드맵 – 향후 작업에는 차세대 Blackwell GPU 및 다중 GPU/NVLink 구성에 대한 실험적 지원이 포함됩니다.

사용 대상 – 새로운 Hopper 기능 또는 대규모 LLM 워크로드에 대한 정확하고 검증된 성능 또는 에너지 추정이 필요한 GPU 아키텍트, 성능 연구자 및 AI 시스템 설계자.