Habana Labs 与 Hugging Face 的变压器模型训练合作伙伴关系

Habana Labs 与 Hugging Face 已合作，将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成。此合作使数据科学家和机器学习工程师能够在 Habana Gaudi 处理器上加速变压器模型的训练，只需最少的代码更改，即可降低训练成本并提升生产力。

通过 Habana Gaudi 实现硬件加速

Habana Gaudi 训练解决方案旨在提供高效、专用的深度学习处理能力。这些解决方案为 Amazon EC2 DL1 实例和 Supermicro 的 X12 Gaudi AI 训练服务器提供动力。

Gaudi 处理器的关键技术规格和优势包括：

  • 性价比： Gaudi 的性价比比可比的训练解决方案低至 40%。
  • 可扩展性： 每个 Gaudi 处理器集成十个 100 Gigabit 以太网端口，使系统能够从单个处理器高效扩展到数千个 Gaudi。
  • 框架支持： SynapseAI 软件套件针对 Gaudi 性能进行优化，支持 TensorFlow 和 PyTorch 框架，特别面向计算机视觉和自然语言处理（NLP）应用。

与 Hugging Face Optimum 的集成

通过 Hugging Face 硬件合作伙伴计划，Habana SynapseAI 套件已集成到 Optimum 库中。此集成使用户只需几行代码即可利用 Habana Gaudi 的硬件加速来训练变压器模型。

此合作旨在扩展针对 Habana Gaudi 优化的变压器模型库，促进在多个领域的高质量训练，包括：

  • 自然语言处理（NLP）
  • 计算机视觉
  • 语音

高层观点

两家机构的行业领袖强调了此次合作的效率和可及性：

“我们很高兴能与 Hugging Face 及其众多开源开发者合作，以满足对利用 Gaudi 训练平台的效率、易用性和可扩展性的变压器模型日益增长的需求”，Habana Labs 软件产品管理负责人 Sree Ganesan 说道。

“Habana Gaudi 为深度学习模型训练带来了全新的效率水平，我们非常激动能够通过 Optimum 让 Transformer 用户以最少的代码更改轻松获得这种性能”，Hugging Face 产品总监 Jeff Boudier 说道。

Sources