Graphcore 和 Hugging Face 扩展 IPU 就绪的 Transformer 模型

Graphcore 和 Hugging Face 已在 Hugging Face Optimum 中扩展了机器学习模态和任务的范围，为开发者提供了 10 种针对 Graphcore 智能处理单元（IPU）优化的开箱即用 Transformer 模型。此扩展降低了创新者在自然语言处理、语音和计算机视觉任务中部署高性能 Transformer 模型的门槛。

按模态优化的模型阵容

Graphcore 和 Hugging Face 现在提供 IPU 配置文件以及可直接使用的预训练和微调权重，涵盖以下模型：

自然语言处理 (NLP)

  • GPT-2：一种用于文本生成的生成式预训练 Transformer，采用自监督方式在大规模英文语料上进行训练。
  • RoBERTa：一种基于掩码语言建模（MLM）目标的鲁棒优化 BERT 方法，主要用于在下游任务上进行微调。
  • DeBERTa：在 BERT 和 RoBERTa 基础上改进的模型，使用解耦注意力机制和增强的掩码解码器，以提升预训练效率和下游性能。
  • BART：一种序列到序列（seq2seq）模型，具备双向编码器和自回归解码器，适用于摘要、翻译等文本生成任务。
  • T5：一种文本到文本的迁移 Transformer，将所有 NLP 问题统一转化为文本到文本的格式以进行迁移学习。
  • LXMERT：一种多模态 Transformer，使用三个编码器（对象关系、语言和跨模态）学习视觉和语言表征，在 VQA 与 GQA 数据集上实现了最新水平的表现。

计算机视觉

  • ViT（Vision Transformer）：一种图像识别模型，通过将图像划分为小块并使用 Transformer 嵌入进行编码来处理图像。

语音

  • HuBERT（Hidden-Unit BERT）：一种自监督语音识别模型，学习连续输入上的声学与语言联合模型。
  • Wav2Vec2：一种用于自动语音识别的自监督模型，通过对比预训练目标从未标记数据中学习语音表征。

硬件与软件集成

性能提升得益于 Hugging Face Optimum 与 Graphcore 最新硬件和软件栈的深度集成。

Bow IPU 硬件

Bow IPU 采用 Wafer-on-Wafer（WoW）3D 堆叠技术。相较于前一代，Bow IPU 提供：

  • 高达 350 teraFLOPS 的 AI 计算能力（提升约 40%）。
  • 高达 16% 的功耗效率提升。

使用 Hugging Face Optimum 的用户可以在无需任何代码更改的情况下迁移到 Bow 处理器。

Poplar SDK

Optimum 与 Poplar SDK（版本 2.5）实现即插即用体验，兼容包括 PyTorch、PyTorch Lightning 和 TensorFlow 在内的标准机器学习框架。此兼容性使开发者能够通过 Docker、Kubernetes 等编排工具，将模型从其他计算平台迁移至 IPU。

生态系统与可及性

通过将 IPU 与 Hugging Face 集成，开发者既可利用优化后的模型，又可访问 Hugging Face Hub 上丰富的数据集。此合作旨在缩短在网络安全、药物发现、语音通话自动化等领域将 Transformer 性能优化用于实际应用所需的时间和专业技能。

SUMMARY: Graphcore 和 Hugging Face 已将 Hugging Face Optimum 库扩展至包括 10 种针对 Graphcore IPU 优化的 Transformer 模型，覆盖 NLP、语音和计算机视觉。

TITLE: Graphcore 和 Hugging Face 扩展 IPU 就绪的 Transformer 模型

Sources