ROCm/aiter

解决的问题

AITER (AI Tensor Engine for ROCm) 为 AMD GPU 提供了一个高性能的优化 GPU 内核库。它解决了框架开发者需要用于 AI 推理和训练工作负载、且已准备好投入生产环境的高性能算子，而无需亲自编写底层 GPU 代码的问题。

运作方式

AITER 作为一个统一的算子集合，可以整合到各种 AI 框架中。它利用多种内核后端来实现最高性能，包括 Triton、Composable Kernel (CK)、手写 ASM 以及 FlyDSL。它同时提供 C++ 和 Python API，适合不同开发层级的需求。

目标对象

此函数库主要针对 AI 框架开发者（例如从事 vLLM、SGLang 或 JAX 开发的人员）以及构建自定义推理引擎的工程师，他们希望在 AMD Instinct 和 Radeon GPU 上最大化模型性能。

特色亮点

• 广泛的框架整合：作为 ROCm 上 LLM 推理的默认内核后端，已整合至 vLLM、SGLang 和 ATOM。
• 多元的算子支持：包含针对 attention (MHA, MLA, Paged Attention)、Mixture-of-Experts (MoE)、GEMM、归一化和量化的优化内核。
• 显著的性能提升：展现了大幅度的加速，例如 MLA 解码内核最高可达 17 倍，MHA 预填充内核最高可达 14 倍。
• 多后端支持：利用包括 Triton 和 FlyDSL 在内的多种后端，针对不同的 AMD GPU 架构 (CDNA 和 RDNA) 优化内核。