在 Intel Gaudi 2 上加速蛋白質語言模型 ProtST

Intel 與 MILA 已針對 Intel Gaudi 2 加速器優化了 ProtST 多模態蛋白質語言模型，展示了相較於 NVIDIA A100 GPU 在推論與微調兩方面的顯著加速。此整合透過 Optimum for Intel Gaudi 開源庫實現，讓使用者能以最少的程式碼變更將基於 transformers 的腳本移植至 Gaudi 2。

ProtST 模型概述

ProtST 是一種基於文字提示的多模態蛋白質設計語言模型，最初由 MILA 與 Intel Labs 於 2023 年 ICML 發表。該模型設計用於諸如預測胺基酸序列的次級細胞位置等任務——模型會判斷序列屬於細胞核、細胞膜、細胞質或線粒體。

主要功能包括：

• Zero-shot Performance：ProtST-ESM-1b 變體在次級細胞位置預測上即能超越最先進的 few-shot 分類器。
• Accessibility：模型與相關資料集已重新構建，並透過 mila-intel 組織在 Hugging Face Hub 上共享。

在 Intel Gaudi 2 上的推論效能

在 ProtST-SubcellularLocalization 資料集（包含 2,772 條胺基酸序列，長度介於 79 至 1,999）上進行的推論測試顯示，Intel Gaudi 2 相較於 NVIDIA A100 80GB PCIe 提供了顯著的效能提升。

在以完整 bfloat16 精度、批次大小為 1 執行模型時，結果如下：

• Accuracy：NVIDIA A100 與 Intel Gaudi 2 均達到相同的 0.44 正確率。
• Speed：Intel Gaudi 2 的推論速度比 A100 快 1.76 倍。

微調與擴展能力

在下游任務上微調 ProtST 可提升模型準確度。在二元位置任務——判斷蛋白質是膜結合還是可溶——使用 ProtST-BinaryLocalization 資料集，以 bfloat16 精度微調了 ProtST-ESM1b-for-sequential-classification 模型。

訓練準確度與速度

微調結果與原始研究論文的發現相近，在不同硬體配置下達到約 92.5% 的準確率。

硬體比較

將單一 Gaudi 2 加速器與單一 NVIDIA A100 進行比較：

• Fine-tuning Speed：單一 Gaudi 2 的微調速度比單一 A100 快 2.92 倍。
• Scalability：在將加速器數量提升至 4 或 8 台時，Gaudi 2 的分散式訓練呈近線性擴展。

實作資源

開發者可使用以下工具在 Intel Gaudi 2 上部署 ProtST：

• Optimum for Intel Gaudi：一個開源庫，簡化了將基於 transformers 的腳本移植至 Gaudi 2 硬體的流程。
• Intel Gaudi Documentation：官方硬體實作技術指南。