Hugging Face 與 AMD 合作加速模型

Hugging Face 與 AMD 已經訂立戰略合作夥伴關係，以加速在 AMD CPU 與 GPU 平台上的最先進 Transformer 模型性能。此合作旨在為開發者提供更多硬體選擇以及更佳的成本效益標準，用於大規模模型的預訓練、微調與推理。

支援的硬體平台

AMD 與 Hugging Face 正在三個主要硬體類別上優化性能：

• GPUs: 合作首針對企業級 Instinct MI2xx 與 MI3xx 系列，隨後是消費者級 Radeon Navi3x 系列。初步測試顯示，MI250 訓練 BERT-Large 的速度比其直接競爭對手快 1.2 倍，訓練 GPT2-Large 的速度快 1.4 倍。
• CPUs: 推理優化將針對客戶端 Ryzen 與伺服器 EPYC CPU，利用如量化的模型壓縮技術，使 CPU 成為 Transformer 推理的可行選項。
• AI Accelerators: 此合作包含 Alveo V70 AI 加速器，旨在提供較低功耗下的高效能。

支援的模型架構與框架

此合作旨在支援自然語言處理、電腦視覺與語音領域廣泛的 Transformer 架構，包括：

• Generative AI: GPT2, GPT-NeoX, T5, OPT, LLaMA, BLOOM, 與 StarCoder。
• General Transformers: BERT, DistilBERT, ROBERTA, Vision Transformer, CLIP, 與 Wav2Vec2。
• Other Architectures: 傳統電腦視覺模型如 ResNet 與 ResNext，以及深度學習推薦模型。

這些模型將會在 PyTorch、TensorFlow 與 ONNX Runtime 上進行測試與驗證，儘管訓練與推理的可用性可能會依據框架與硬體平台而有所不同。

實施與整合路線圖

為確保使用者體驗順暢，Hugging Face 與 AMD 正專注於以下技術整合：

• ROCm SDK Integration: AMD ROCm SDK 將被整合進 Hugging Face 的開源程式庫，起始自 transformers 程式庫。
• Dedicated Optimum Library: 此合作預期將產出一個專門針對 AMD 平台的新 Optimum 程式庫，讓使用者能以極少或無需程式碼變更的方式利用 AMD 硬體。
• Out-of-the-Box Optimization: 初步優先事項是確保最受社區關注的模型能在 AMD 平台上高效運作，透過利用最新的 AMD 硬體與軟體功能。