Graphcore 與 Hugging Face 擴展 IPU 就緒的 Transformer 模型

Graphcore 與 Hugging Face 已擴大 Hugging Face Optimum 所支援的機器學習模態與任務範圍，為開發者提供 10 個即用型、針對 Graphcore 智能處理單元 (IPU) 優化的 Transformer 模型。此擴充降低了創新者在自然語言處理、語音與電腦視覺任務中部署高效能 Transformer 模型的門檻。

依模態劃分的優化模型清單

Graphcore 與 Hugging Face 現已提供 IPU 設定檔以及即用的預訓練與微調權重，適用於以下模型：

自然語言處理 (NLP)

  • GPT-2：一種用於文字生成的生成式預訓練 Transformer，透過自監督方式在大型英語語料庫上進行訓練。
  • RoBERTa：一種以遮蔽語言模型 (MLM) 目標為基礎、經過強化優化的 BERT 方法，主要用於下游任務的微調。
  • DeBERTa：BERT 與 RoBERTa 的改進版，採用解耦注意力機制與增強的遮蔽解碼器，以提升預訓練效率與下游效能。
  • BART：具備雙向編碼器與自回歸解碼器的序列到序列 (seq2seq) 模型，對摘要與翻譯等文字生成任務效果顯著。
  • T5：一種文字到文字的遷移 Transformer，將所有 NLP 問題轉換為統一的文字到文字格式，以進行遷移學習。
  • LXMERT：多模態 Transformer，透過三個編碼器（物件關係、語言與跨模態）學習視覺與語言表徵，在 VQA 與 GQA 資料集上達到最先進的表現。

電腦視覺

  • ViT（Vision Transformer）：一種影像辨識模型，將圖像切割成小區塊，然後由 Transformer 嵌入進行編碼。

語音

  • HuBERT（Hidden-Unit BERT）：自監督語音辨識模型，於連續輸入上學習結合聲學與語言模型。
  • Wav2Vec2：自監督自動語音辨識模型，透過對比式預訓練目標從未標記資料中學習語音表徵。

硬體與軟體整合

效能提升源於 Hugging Face Optimum 與 Graphcore 最新硬體與軟體堆疊的整合。

Bow IPU 硬體

Bow IPU 採用 Wafer-on-Wafer (WoW) 3D 堆疊技術。相較於前一代，Bow IPU 提供：

  • 高達 350 teraFLOPS 的 AI 計算能力（提升 40% 效能）。
  • 高達 16% 的功耗效率提升。

使用 Hugging Face Optimum 的使用者可在不需更改程式碼的情況下切換至 Bow 處理器。

Poplar SDK

Optimum 與 Poplar SDK（版本 2.5）提供即插即用的體驗，該 SDK 可與包括 PyTorch、PyTorch Lightning 與 TensorFlow 在內的標準機器學習框架整合。此相容性讓開發者能透過 Docker 與 Kubernetes 等編排工具，將模型從其他運算平台移植至 IPU。

生態系統與可及性

透過將 IPU 與 Hugging Face 整合，開發者可同時利用優化模型與 Hugging Face Hub 上豐富的資料集。此合作旨在縮短優化 Transformer 效能所需的時間與專業技能，促進在資安、藥物發現與語音通話自動化等實務領域的應用。

Sources