casys-kaist/LLMServingSim

해결하는 문제

LLMServingSim은 대규모 언어 모델(LLM) 서빙 시스템이 복잡한 이기종 하드웨어에서 어떻게 작동할지 예측하는 어려움을 해결합니다. 연구자와 엔지니어는 물리적 인프라를 먼저 구축할 필요 없이 다양한 하드웨어 구성, 메모리 아키텍처, 병렬화 전략이 추론 지연 시간과 처리량에 미치는 영향을 시뮬레이션할 수 있습니다.

작동 방식

이 도구는 세 가지 주요 구성 요소를 결합한 사이클 수준 시뮬레이터로 작동합니다. vLLM의 연속 배치 스케줄러를 모방한 Python 기반 프론트엔드, 통신을 모델링하는 분석 네트워크 백엔드(ASTRA-Sim), 실제 하드웨어에서 지연 시간 데이터를 캡처하는 레이어별 프로파일러입니다. 이를 통합함으로써 시뮬레이터는 MoE(Mixture of Experts) 라우팅, 추측적 디코딩, 다양한 하드웨어 설정에 걸친 여러 병렬화 기술(TP, PP, EP, DP)과 같은 복잡한 시나리오를 모델링할 수 있습니다.

대상 사용자

이 도구는 LLM 추론 최적화, 데이터 센터 리소스 계획, 고성능 서빙 스택 개발을 수행하는 시스템 연구자, 하드웨어 아키텍트, 인프라 엔지니어를 위해 설계되었습니다.

주요 특징

• LLM 서빙 인프라의 사이클 수준 시뮬레이션.
• 이기종 하드웨어 및 분리형 메모리 계층(CPU, CXL, PIM) 지원.
• 실제 vLLM 벤치마크를 통해 검증된 높은 정확도(예: RTX 4090 프로파일 기준 1% 이내 오차).
• MoE 라우팅, 추측적 디코딩, 다중 인스턴스 병렬화(TP/PP/EP/DP)를 포함한 고급 서빙 기술 모델링.