ROCm/aiter

解決する課題

AITER (AI Tensor Engine for ROCm) は、AMD GPU向けに最適化されたGPUカーネルの高パフォーマンスライブラリを提供します。フレームワーク開発者が、低レベルのGPUコードを自ら記述することなく、AI推論やトレーニングワークロード向けに本番環境対応の高度にチューニングされた演算子を利用できるようにします。

仕組み

AITERは、さまざまなAIフレームワークに統合可能な演算子の統合コレクションとして機能します。Triton、Composable Kernel (CK)、手動チューニングされたASM、FlyDSLなど、複数のカーネルバックエンドを活用して最大限のパフォーマンスを実現します。C++およびPython APIの両方を提供しており、さまざまな開発レベルで利用可能です。

対象ユーザー

このライブラリは、主にAIフレームワーク開発者（vLLM、SGLang、JAXなどに取り組んでいる開発者）や、AMD InstinctおよびRadeon GPUでモデルのパフォーマンスを最大化したいカスタム推論エンジンを構築するエンジニアを対象としています。

主な特徴

• 幅広いフレームワーク統合: ROCm上でのLLM推論のデフォルトカーネルバックエンドとして機能し、vLLM、SGLang、ATOMに統合されています。
• 多様な演算子サポート: attention (MHA, MLA, Paged Attention)、Mixture-of-Experts (MoE)、GEMM、正規化、量子化のための最適化されたカーネルが含まれています。
• 大幅なパフォーマンス向上: MLAデコードカーネルで最大17倍、MHAプリフィルカーネルで最大14倍など、大幅な高速化を実現しています。
• マルチバックエンドサポート: TritonやFlyDSLを含むさまざまなバックエンドを活用し、異なるAMD GPUアーキテクチャ (CDNAおよびRDNA) 全体でカーネルを最適化します。