Graphcore と Hugging Face が IPU 対応トランスフォーマーモデルを拡張

Graphcore と Hugging Face は、Hugging Face Optimum で利用できる機械学習のモダリティとタスクの範囲を拡大し、開発者に Graphcore の Intelligence Processing Unit (IPU) 用に最適化された 10 の汎用トランスフォーマーモデルを提供します。この拡張により、イノベーターが自然言語処理、音声、コンピュータビジョンのタスク全般で高性能トランスフォーマーモデルを展開するハードルが下がります。

モダリティ別最適化モデルラインナップ

Graphcore と Hugging Face は、以下のモデル向けに IPU 設定ファイルとすぐに使用できる事前学習済みおよびファインチューニング済みの重みを提供しています。

自然言語処理 (NLP)

  • GPT-2: テキスト生成用の生成的事前学習トランスフォーマーで、大規模な英語コーパス上で自己教師あり方式で訓練されています。
  • RoBERTa: マスク言語モデリング (MLM) 目的を使用した堅牢に最適化された BERT アプローチで、主に下流タスクへのファインチューニングを目的としています。
  • DeBERTa: BERT と RoBERTa を改良したバージョンで、分離注意機構と強化されたマスクデコーダーを利用し、事前学習効率と下流タスクの性能を向上させます。
  • BART: 双方向エンコーダと自己回帰デコーダを持つシーケンス・ツー・シーケンス (seq2seq) モデルで、要約や翻訳などのテキスト生成タスクに有効です。
  • T5: すべての NLP 問題を統一されたテキストツーテキスト形式に変換し、転移学習を可能にするテキストツーテキスト転送トランスフォーマーです。
  • LXMERT: 3 つのエンコーダ（オブジェクト関係、言語、クロスモダリティ）を用いて視覚と言語の表現を学習するマルチモーダルトランスフォーマーで、VQA と GQA データセットで最先端の結果を達成しています。

コンピュータビジョン

  • ViT (Vision Transformer): 画像を小さなパッチに分割し、トランスフォーマー埋め込みでエンコードする画像認識モデルです。

音声

  • HuBERT (Hidden-Unit BERT): 連続入力上で音響モデルと語彙モデルを統合的に学習する自己教師あり音声認識モデルです。
  • Wav2Vec2: ラベルなしデータから対照的な事前学習目的で音声表現を学習する自己教師あり自動音声認識モデルです。

ハードウェアとソフトウェアの統合

性能向上は、Hugging Face Optimum と Graphcore の最新ハードウェア・ソフトウェアスタックの統合によって実現されています。

Bow IPU ハードウェア

Bow IPU は Wafer-on-Wafer (WoW) 3D スタッキング技術を採用しています。前世代と比較して、Bow IPU は以下を実現します：

  • 最大 350 テラFLOPS の AI 計算（性能が 40% 向上）。
  • 電力効率が最大 16% 向上。

Hugging Face Optimum のユーザーは、コード変更なしで Bow プロセッサへ移行できます。

Poplar SDK

Optimum は Poplar SDK（バージョン 2.5）と組み合わせたプラグアンドプレイ体験を提供し、PyTorch、PyTorch Lightning、TensorFlow などの標準機械学習フレームワークと統合します。この互換性により、開発者は Docker や Kubernetes といったオーケストレーションツールを使用して、他の計算プラットフォームから IPU へモデルを移植できます。

エコシステムとアクセシビリティ

IPU と Hugging Face を統合することで、開発者は最適化されたモデルと Hugging Face Hub 上の豊富なデータセットの両方を活用できます。このパートナーシップは、サイバーセキュリティ、医薬品探索、音声通話自動化などの分野における実世界アプリケーション向けにトランスフォーマー性能を最適化するために必要な時間と専門スキルを削減することを目指しています。

Sources