ROCm/aiter

해결하는 문제

AITER (AI Tensor Engine for ROCm)는 AMD GPU를 위해 특별히 최적화된 GPU 커널의 고성능 라이브러리를 제공합니다. 프레임워크 개발자가 저수준 GPU 코드를 직접 작성할 필요 없이, AI 추론 및 학습 워크로드를 위한 프로덕션 수준의 고도로 튜닝된 연산자를 사용할 수 있도록 지원합니다.

작동 방식

AITER는 다양한 AI 프레임워크에 통합될 수 있는 통합 연산자 컬렉션 역할을 합니다. Triton, Composable Kernel (CK), 수동 튜닝된 ASM, FlyDSL 등 여러 커널 백엔드를 활용하여 최대 성능을 달성합니다. C++ 및 Python API를 모두 제공하여 다양한 개발 수준에서 접근할 수 있습니다.

대상 사용자

이 라이브러리는 주로 AI 프레임워크 개발자(vLLM, SGLang, JAX 등을 다루는 개발자)와 AMD Instinct 및 Radeon GPU에서 모델 성능을 극대화하려는 커스텀 추론 엔진 구축 엔지니어를 위한 것입니다.

주요 특징

• 광범위한 프레임워크 통합: ROCm 기반 LLM 추론의 기본 커널 백엔드 역할을 하며, vLLM, SGLang, ATOM에 통합되어 있습니다.
• 다양한 연산자 지원: attention (MHA, MLA, Paged Attention), Mixture-of-Experts (MoE), GEMM, 정규화 및 양자화를 위한 최적화된 커널을 포함합니다.
• 상당한 성능 향상: MLA 디코드 커널에서 최대 17배, MHA 프리필 커널에서 최대 14배의 속도 향상을 보여줍니다.
• 멀티 백엔드 지원: Triton 및 FlyDSL을 포함한 다양한 백엔드를 활용하여 서로 다른 AMD GPU 아키텍처 (CDNA 및 RDNA) 전반에서 커널을 최적화합니다.