Hugging FaceとGraphcoreのIPU最適化Transformerに関するパートナーシップ

Hugging FaceとGraphcoreは、GraphcoreのIntelligence Processing Units (IPUs) をHugging Faceのエコシステムに統合するために提携しました。2021 AI Hardware Summitで発表されたこのコラボレーションにより、開発者はIPU向けに最適化された最先端のTransformerモデルを、最小限のコーディングの複雑さでプロダクション規模でデプロイできるようになります。

Intelligence Processing Unit (IPU) アーキテクチャ

Intelligence Processing Unit (IPU) は、AIおよび機械学習の計算要件に特化して設計されたプロセッサであり、GraphcoreのIPU-PODデータセンター計算システムを駆動します。SIMD/SIMTアーキテクチャを利用するGPUとは異なり、IPUは大規模並列MIMDアーキテクチャを採用しています。

IPUの主な技術的特徴は以下の通りです：

  • On-die Memory: 超高帯域幅メモリが、シリコンダイ上のプロセッサコアに直接隣接して配置されています。
  • Specialized Silicon: ハードウェアは、スパース性、低精度演算、およびきめ細かな並列性を処理するように構築されています。
  • Software Integration: プロセッサと共同設計されたPoplar SDKは、PyTorchやTensorFlowなどの標準的なフレームワーク、およびDockerやKubernetesなどのデプロイメントツールと統合されます。

Hardware Partner Programを介したTransformerの最適化

高度なハードウェアとモデルのデプロイメントの間のギャップを埋めるため、Hugging FaceはHardware Partner Programを開始しました。このイニシアチブは、Transformersライブラリを最適化されたAIハードウェアと接続し、新しい計算プラットフォームを採用する際の摩擦を軽減します。

The Optimum Library

開発者は、新しいオープンソースのライブラリおよびツールキットであるOptimumを通じて、ハードウェア最適化されたモデルにアクセスできます。このツールキットは、Graphcoreとの協力により開発された、Hugging Faceによって認定されたモデルを提供します。これらのIPU最適化モデルは「プラグアンドプレイ」として設計されており、開発者がハードウェアを活用するために新しいコードやプロセスを学習する必要はありません。

適用範囲

このパートナーシップは、以下を含む幅広いアプリケーションを対象としています：

  • 自然言語処理 (NLP)（テキスト生成、感情分析、翻訳など）。
  • コンピュータビジョン (例: ViT)。
  • 音声処理。

パフォーマンスとベンチマーク

Graphcoreは、PyTorchを介したHugging Face BERTのGraphcore最適化された特殊な実装を使用することで、IPUがTransformerモデルを加速させる能力を実証しました。Graphcoreによると、IPUシステム上で実行されるBERTのベンチマーク結果は、同等のGPUベースのシステムと比較して劇的なパフォーマンス上の利点を示しており、モデル開発中の反復回数を大幅に増やし、トレーニング時間を大幅に短縮できる可能性があります。

Sources