Hugging Face 与 AMD 合作以加速模型

Hugging Face 与 AMD 已建立战略合作伙伴关系，以在 AMD 的 CPU 和 GPU 平台上加速最先进 transformer 模型的性能。此合作旨在为开发者提供更多硬件选择以及更好的性价比标准，用于大规模模型的预训练、微调和推理。

Supported Hardware Platforms

AMD 和 Hugging Face 正在三大主要硬件类别上优化性能：

  • GPUs: 合作首要聚焦于企业级 Instinct MI2xx 和 MI3xx 系列，随后是消费级 Radeon Navi3x 系列。初步测试表明，MI250 训练 BERT-Large 的速度比其直接竞争对手快 1.2 倍，训练 GPT2-Large 的速度快 1.4 倍。
  • CPUs: 推理优化将同时面向客户端 Ryzen 和服务器 EPYC CPU，利用量化等模型压缩技术，使 CPU 成为 transformer 推理的可行选择。
  • AI Accelerators: 该合作伙伴关系包括 Alveo V70 AI 加速器，旨在以更低的功耗提供高性能。

Supported Model Architectures and Frameworks

该合作旨在支持自然语言处理、计算机视觉和语音领域的广泛 transformer 架构，包括：

  • Generative AI: GPT2, GPT-NeoX, T5, OPT, LLaMA, BLOOM 和 StarCoder。
  • General Transformers: BERT, DistilBERT, ROBERTA, Vision Transformer, CLIP 和 Wav2Vec2。
  • Other Architectures: 传统计算机视觉模型如 ResNet 和 ResNext，以及深度学习推荐模型。

这些模型将在 PyTorch、TensorFlow 和 ONNX Runtime 上进行测试和验证，尽管其在训练和推理中的可用性可能因框架和硬件平台而异。

Implementation and Integration Roadmap

为了确保无缝的用户体验，Hugging Face 和 AMD 正在专注于以下技术集成：

  • ROCm SDK Integration: AMD ROCm SDK 将被集成到 Hugging Face 的开源库中，起始点是 transformers 库。
  • Dedicated Optimum Library: 合作预计将产生一个专门针对 AMD 平台的新 Optimum 库，使用户能够在几乎不更改代码的情况下利用 AMD 硬件。
  • Out-of-the-Box Optimization: 初步优先级是确保最关键的社区模型在 AMD 平台上高效运行，通过利用最新的 AMD 硬件和软件特性。

Sources