Hugging Face と AMD GPU 加速 for LLMs

Hugging Face と AMD は提携し、AMD Instinct GPU 上で大規模言語モデル（LLMs）を即座に加速できるようにしました。この統合により、コードを変更することなく AMD ハードウェア上で Hugging Face Transformers モデルを実行でき、高性能 AI 推論および学習のハードウェア選択肢が大幅に拡がります。

AMD Instinct GPU 用のコード不要統合

すべての Hugging Face Transformers モデルとタスクが AMD Instinct GPU でサポートされるようになりました。ユーザーは NVIDIA GPU 用に通常使用する PyTorch コードと同じものを、デバイスを "cuda" に指定するだけでデプロイできます。

安定性とパフォーマンスを確保するため、Hugging Face はデータセンター内の AMD Instinct GPU 上でオープンソースライブラリの統合テストを実施しています。テストはアイスランドに設置された Verne Global のサーバーを利用し、炭素影響を最小化しています。

技術的最適化と機能サポート

ネイティブサポートに加えて、協業により ROCm 搭載 GPU 向けの最先端加速ツールとカーネルが統合されました。

Flash Attention v2: AMD のオープンソース取り組みを通じて、Transformers と Text Generation Inference (TGI) にネイティブに統合されています。
Paged Attention: ROCm 用の TGI における vLLM と各種融合カーネルでサポートされています。
DeepSpeed: Transformers を使用した ROCm 搭載 GPU 向けに公式に検証・サポートされています。
GPTQ: AutoGPTQ と Transformers との直接統合により、メモリ要件削減のための重み圧縮がサポートされています。
ONNX Runtime: Optimum ライブラリを介して ROCMExecutionProvider を使用し、ROCm GPU 上での ONNX モデル実行をサポートします。
Optimum-Benchmark: 通常設定および分散設定で AMD GPU 上の Transformers パフォーマンスをベンチマークするユーティリティです。

ハードウェア性能: AMD Instinct MI250 vs. NVIDIA A100

AMD Instinct MI250 は 128 GB の高帯域メモリ（HBM）を搭載し、2 つの独立した ROCm デバイス（各 64 GB）に分割されます。この構成により、1 枚の MI250 カードが 2 つの PyTorch デバイスとして機能し、テンソルとデータの並列処理が容易になります。

optimum-benchmark を用いたベンチマーク結果は、MI250 が A100 に対して以下のような性能優位性を示すことを明らかにしました。

デコードスループット: 大規模バッチの本番環境では、MI250 がトークン/秒で 2.33 倍以上の速度を提供します。
プレフィルレイテンシ: MI250 は最初のトークンまでの時間（プレフィルレイテンシ）を A100 の半分に短縮します。
トレーニング: MI250 はより大きなバッチサイズをサポートし、トレーニングスループットも向上します。

Text Generation Inference (TGI) による本番デプロイ

Text Generation Inference (TGI) は現在、AMD Instinct MI210 および MI250 GPU の初期サポートを提供しています。TGI は上記の最適化を活用し、スケールした LLM のエンドツーエンドデプロイソリューションを実現します。

Llama 系列モデルのベンチマークでは、MI250 のメモリ優位性が顕著です。Llama 70B（float16 で 138 GB 必要）に対し、MI250 の 128 GB グローバルメモリは、A100 の 80 GB と比較して、より大きなワークロード、長いシーケンス、そして大きなバッチを処理可能で、同等構成での OOM エラーを回避します。

行列乗算の最適化のため、Hugging Face は AMD GeMM Tuner ツールを活用しており、将来的な PyTorch のアップデートで正式に組み込まれる予定です。

本番デプロイは Docker イメージで提供されています: ghcr.io/huggingface/text-generation-inference:1.2-rocm。

今後のロードマップ

Hugging Face と AMD は、以下の 3 つの主要領域でサポートを拡大していきます。

コンシューマハードウェア: ローカルデスクトップ向けに AMD Radeon GPU の検証とサポートを提供します。
次世代サーバー GPU: 今後登場する AMD Instinct MI300 シリーズ向けにパフォーマンス最適化を行います。
エッジ AI: ノートPC の CPU に搭載された AMD Ryzen AI 技術を強化し、プライベートかつオンデバイスでの AI 実行を可能にします。Ryzen AI 対応モデルは現在 Hugging Face Hub で入手可能です。