Hugging Face 与 Graphcore 合作推出针对 IPU 优化的 Transformers

Hugging Face 与 Graphcore 已达成合作伙伴关系，将 Graphcore 的 Intelligence Processing Units (IPUs) 集成到 Hugging Face 生态系统中。此次合作在 2021 AI Hardware Summit 上宣布，允许开发者以极低的编码复杂度，在生产规模上部署针对 IPU 优化的最先进 Transformer 模型。

Intelligence Processing Unit (IPU) 架构

Intelligence Processing Unit (IPU) 是一种专门为 AI 和机器学习的计算需求而设计的处理器，为 Graphcore 的 IPU-POD 数据中心计算系统提供动力。与采用 SIMD/SIMT 架构的 GPU 不同，IPU 采用大规模并行的 MIMD 架构。

IPU 的关键技术特征包括：

  • On-die Memory：超高带宽内存直接放置在硅芯片上的处理器核心相邻位置。
  • Specialized Silicon：硬件专为处理稀疏性、低精度算术和细粒度并行性而构建。
  • Software Integration：Poplar SDK 与处理器协同设计，可与包括 PyTorch 和 TensorFlow 在内的标准框架以及 Docker 和 Kubernetes 等部署工具集成。

通过硬件合作伙伴计划优化 Transformers

为了弥合先进硬件与模型部署之间的差距，Hugging Face 推出了 Hardware Partner Program。该计划将 Transformers 库与优化的 AI 硬件连接起来，以减少采用新计算平台的摩擦。

The Optimum Library

开发者将通过 Optimum 这一全新的开源库和工具包来访问硬件优化的模型。该工具包提供了由 Hugging Face 认证、并与 Graphcore 协作开发的模型。这些针对 IPU 优化的模型旨在实现“即插即用”，无需开发者学习新的代码或流程即可利用该硬件。

应用范围

此次合作旨在涵盖广泛的应用，包括：

  • 自然语言处理 (NLP)，例如文本生成、情感分析和翻译。
  • 计算机视觉 (例如 ViT)。
  • 语音处理。

性能与基准测试

Graphcore 已展示了 IPU 加速 Transformer 模型的能力，其通过 PyTorch 使用针对 Graphcore 优化的 Hugging Face BERT 特殊实现。根据 Graphcore 的说法，在 IPU 系统上运行的 BERT 基准测试结果显示，与同类基于 GPU 的系统相比，具有显著的性能优势，这可以显著缩短训练时间并增加模型开发过程中可能的迭代次数。

Sources