ROCm/aiter

何を解決するか

AITER (AI Tensor Engine for ROCm) は、AMD GPUに特化した高性能な最適化GPUカーネルライブラリを提供します。フレームワーク開発者がAI推論およびトレーニング用の生産環境対応で高度に最適化された演算子を、低レベルのGPUカーネルをゼロから書くことなく利用できるようにします。

動作方法

複数のカーネルバックエンド（Triton、Composable Kernel (CK)、手動最適化アセンブリ (ASM)）を活用して、最大のパフォーマンスを実現する一元化された演算子コレクションとして機能します。また、GEMMやMoEなどの特定の演算子にはFlyDSLを活用し、HIPカーネルの開発およびビルド時間を短縮するための軽量なC++テンプレートライブラリOpusも含まれています。

対象ユーザー

このライブラリは、vLLM、SGLang、JAXなどのフレームワーク開発者や、AMD InstinctおよびRadeon GPU上でワークロードを最適化する必要があるカスタムAI推論エンジンを構築するエンジニアを主な対象としています。

主な特徴

• 広範なフレームワーク対応：ROCm上でのLLM推論のデフォルトカーネルバックエンドとして、vLLM、SGLang、ATOMに統合されています。
• 多様な演算子セット：Attention（MHA、MLA、Paged Attention）、Mixture-of-Experts（MoE）、GEMM、正規化、量子化用の最適化カーネルを含みます。
• マルチバックエンドアプローチ：Triton、CK、手動最適化ASMを組み合わせて、異なるハードウェアアーキテクチャに最適化します。
• 顕著なパフォーマンス向上：MLAデコードカーネルで最大17倍、MHAプリフィルカーネルで最大14倍の高速化を実現しています。
• 柔軟なAPI：C++およびPython APIを提供し、統合が容易です。