mirage-project/mirage

해결하는 문제

Mirage Persistent Kernel (MPK)는 다중 GPU LLM 추론과 관련된 지연 문제를 해결합니다. 여러 커널 실행 및 GPU 간 통신의 오버헤드를 제거함으로써 추론 지연을 1.2배에서 6.7배까지 감소시킵니다.

작동 방식

MPK는 LLM 추론을 단일 '메가커널'로 변환하는 컴파일러 및 런타임 시스템입니다. 이 메가커널은 단일 실행 내에서 모든 계산과 통신을 처리하는 융합된 GPU 커널입니다. 사용자는 RMSNorm과 Linear 레이어를 결합하는 등의 융합 연산을 체인으로 연결하고 텐서 할당을 지정하여 계산 그래프를 정의합니다. 시스템은 이 그래프를 GPU에서 실행 가능한 고성능 지속 커널로 컴파일합니다.

대상 사용자

CUDA와 PyTorch를 사용하여 다중 GPU 환경에서 추론 지연을 줄이고자 하는 개발자 및 연구자.

주요 특징

• 엔드투엔드 GPU 융합: 필요한 모든 계산과 통신을 하나의 커널 실행으로 통합.
• 현저한 지연 감소: 네이티브 Triton 및 FlashInfer 커널 대비 1.2배에서 6.7배의 성능 향상 달성.
• 자동 변환: Hugging Face 모델 지우에서 모델을 자동으로 메가커널로 변환.
• 통합 프로파일링: 메가커널 내 각 작업의 실행 타임라인을 시각화할 수 있는 도구 포함.