accel-sim/accel-sim-framework

해결하는 문제

Accel-Sim은 NVIDIA GPU의 높은 정밀도 성능 모델링을 제공하는 사이클 레벨 GPU 시뮬레이터입니다. 아키텍처 실험이나 성능 분석을 위해 매번 실제 하드웨어를 필요로 하는 문제를 해결하여, 개발자와 연구자가 최신 워크로드(예: LLM 추론 및 학습)를 실제 실리콘과 매우 높은 정밀도로 시뮬레이션할 수 있도록 합니다.

작동 방식

이 프레임워크는 트레이스 기반 접근 방식을 사용합니다. 먼저 NVBit 기반 트레이서를 사용하여 NVIDIA 하드웨어에서 실제 SASS(셰이더 어셈블리) 실행을 캡처합니다. 이 트레이스는 세부적인 성능 모델(GPGPU-Sim 4.x)과 AccelWattch 전력 모델을 결합하여 재실행됩니다.

Accel-Sim 2.0은 특히 NVIDIA Hopper 아키텍처(H100/H200)를 지원하며, Tensor Memory Accelerator(TMA), 비동기 Warp Group MMA(WGMMA), 스레드블록 클러스터와 같은 복잡한 기능을 모델링합니다. LLM의 경우, 전체 모델을 트레이싱하는 것보다 계산 비용이 매우 높은 vLLM 내 특정 대표 레이어를 트레이싱할 수 있는 PyTorch 훅을 제공합니다.

대상 사용자

컴퓨터 아키텍트, GPU 연구자, AI 엔지니어 등 GPU 하드웨어 활용도, 에너지 소비, 아키텍처 변경이 AI 워크로드에 미치는 영향을 분석해야 하는 사람들에게 주로 적합합니다.

주요 특징

• 고정밀도: 실제 H100 실리콘과 비교하여 34,000개 이상의 커널 인스턴스에서 검증 완료, 피어슨 상관 계수 99% 이상.
• 완전한 Hopper 지원: TMA, WGMMA, mbarrier 동기화 등 H100/H200 고유 기능을 모델링.
• LLM 대응: 수작업 커널 없이 vLLM 추론 및 PyTorch 학습 단계의 트레이싱을 네이티브로 지원.
• 전력 모델링: 에너지 분석을 위한 통합된 AccelWattch 및 GPUWattch 모델.
• 유연한 트레이싱: SASS 트레이스 기반 시뮬레이션과 PTX 실행 기반 모드 모두 지원.