在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST

Intel 和 MILA 已针对 Intel Gaudi 2 加速器优化了 ProtST 多模态蛋白质语言模型，展示了相较于 NVIDIA A100 GPU 在推理和微调方面的显著加速。此集成由 Optimum for Intel Gaudi 开源库提供支持，使用户能够以最少的代码更改将基于 transformers 的脚本迁移到 Gaudi 2。

ProtST 模型概述

ProtST 是一种基于文本提示的多模态蛋白质设计语言模型，最初由 MILA 和 Intel Labs 在 2023 年的 ICML 上发布。该模型用于诸如预测氨基酸序列的亚细胞位置等任务——模型能够判断序列属于细胞核、细胞膜、细胞质还是线粒体。

关键能力包括：

• Zero-shot Performance：ProtST-ESM-1b 变体在亚细胞位置预测中直接超越了最先进的 few-shot 分类器。
• Accessibility：该模型及相关数据集已重新构建，并通过 mila-intel 组织在 Hugging Face Hub 上共享。

在 Intel Gaudi 2 上的推理性能

在 ProtST-SubcellularLocalization 数据集（包含 2,772 条长度在 79 到 1,999 之间的氨基酸序列）上进行的推理测试表明，Intel Gaudi 2 相较于 NVIDIA A100 80GB PCIe 提供了显著的性能提升。

在使用全 bfloat16 精度、批量大小为 1 运行模型时，结果如下：

• Accuracy：NVIDIA A100 与 Intel Gaudi 2 的准确率均为 0.44，完全相同。
• Speed：Intel Gaudi 2 的推理速度比 A100 快 1.76 倍。

微调与扩展能力

在下游任务上微调 ProtST 可以提升模型准确性。在二分类位置任务——判断蛋白质是膜结合还是可溶——中，使用 ProtST-BinaryLocalization 数据集，以 bfloat16 精度微调了 ProtST-ESM1b-for-sequential-classification 模型。

训练准确率与速度

微调结果与原始研究论文的发现高度吻合，在不同硬件配置下均达到了约 92.5% 的准确率。

硬件对比

将单个 Gaudi 2 加速器与单个 NVIDIA A100 进行比较：

• Fine-tuning Speed：单个 Gaudi 2 的微调速度比单个 A100 快 2.92 倍。
• Scalability：在 Gaudi 2 上进行分布式训练时，随着加速器数量增加到 4 或 8 台，扩展性接近线性。

实现资源

开发者可以使用以下工具在 Intel Gaudi 2 上部署 ProtST：

• Optimum for Intel Gaudi：一个开源库，可简化基于 transformers 的脚本迁移到 Gaudi 2 硬件的过程。
• Intel Gaudi Documentation：官方硬件实现技术指南。