Hugging Face と AMD のモデル加速のためのパートナーシップ

Hugging Face と AMD は、戦略的パートナーシップを結び、AMD の CPU と GPU プラットフォーム全体で最先端のトランスフォーマー モデルのパフォーマンスを加速させました。このコラボレーションは、大規模モデルのプリトレーニング、ファインチューニング、推論において、開発者により多くのハードウェア オプションとより良いコストパフォーマンス基準を提供することを目的としています。

サポートされているハードウェア プラットフォーム

AMD と Hugging Face は、3 つの主要なハードウェア カテゴリ全体でパフォーマンスを最適化しています：

• GPUs: コラボレーションはまずエンタープライズ グレードの Instinct MI2xx と MI3xx ファミリーに焦点を当て、続いてコンシューマー グレードの Radeon Navi3x ファミリーに焦点を当てます。初期のテストでは、MI250 は BERT-Large を直接の競合製品より 1.2 倍速く、GPT2-Large を 1.4 倍速くトレーニングできることが示されています。
• CPUs: 推論の最適化は、クライアント Ryzen とサーバー EPYC CPU の両方を対象とし、量子化などのモデル圧縮技術を活用して、トランスフォーマー 推論のための実行可能なオプションとして CPU を位置付けます。
• AI アクセラレータ: このパートナーシップには、低い電力要件で高いパフォーマンスを提供するように設計された Alveo V70 AI アクセラレータが含まれます。

サポートされているモデル アーキテクチャとフレームワーク

このパートナーシップは、自然言語処理、コンピュータ ビジョン、音声の分野における幅広いトランスフォーマー アーキテクチャをサポートすることを意図しており、以下を含みます：

• Generative AI: GPT2, GPT-NeoX, T5, OPT, LLaMA, BLOOM, および StarCoder。
• General Transformers: BERT, DistilBERT, ROBERTA, Vision Transformer, CLIP, および Wav2Vec2。
• Other Architectures: ResNet や ResNext などの従来のコンピュータ ビジョン モデルおよびディープラーニング レコメンデーション モデル。

これらのモデルは、PyTorch、TensorFlow、ONNX Runtime での使用に対してテストおよび検証されますが、トレーニングと推論の可用性はフレームワークおよびハードウェア プラットフォームによって異なる場合があります。

実装と統合ロードマップ

シームレスなユーザー エクスペリエンスを確保するため、Hugging Face と AMD は次の技術的統合に焦点を当てています：

• ROCm SDK Integration: AMD ROCm SDK は、Hugging Face のオープンソース ライブラリに統合され、まず transformers ライブラリから始まります。
• Dedicated Optimum Library: このコラボレーションにより、AMD プラットフォーム専用の新しい Optimum ライブラリが提供されることが期待されており、ユーザーはほとんどまたはまったくコードを変更せずに AMD ハードウェアを活用できるようになります。
• Out-of-the-Box Optimization: 初期の優先事項は、最新の AMD ハードウェアとソフトウェア機能を活用して、コミュニティにとって最も重要なモデルが AMD プラットフォームで効率的に動作することを確保することです。