AMD EPYC Turin CPUはGenoaに対してLLM推論スループットを2倍提供

要点

AMDの第5世代EPYC CPU、コードネームTurinは、最大192コア、384スレッド、ZenDNNアクセラレートされた torch.compile パスにより、前世代のGenoaチップに比べて大規模言語モデルワークロードの推論スループットを約2倍にします。

AMD Turinとは何か？

AMDはZen 5アーキテクチャ上に構築された第5世代サーバー向けEPYCプロセッサをTurinとして発表しました。このチップは192物理コアと384ハードウェアスレッドにスケールし、従来の96コアGenoaラインに比べて並列計算能力が大幅に向上します。

TurinがHugging Faceユーザーにとって重要な理由

  • Lower latency – より多くのコアとZenDNN最適化されたPyTorchプラグイン（zentorch）により、各トークンの生成時間が短縮されます。
  • Higher throughput – すべてのコアで複数のモデルインスタンスを並列実行することで、1秒あたりのデコードトークン数が最大2倍に増加します。
  • Cost efficiency – 推論が高速になることで、同じワークロードに必要なサーバー数が減少し、運用コストが削減されます。

ベンチマーク手法

Hugging Faceチームは、PyTorch用ZenDNN 5.0プラグインを使用してEPYC Turinプラットフォームを検証しました。このプラグインはtorch.compileと統合され、グラフレベルの最適化を適用します。ベンチマークはbfloat16精度で、ソケットあたり32物理コアを各Meta LLaMA 3.1 8B‑Instructモデルのインスタンスに割り当てたマルチインスタンス構成で実行されました。バッチサイズ16と32の2つを、5つの代表的なLLMタスクでテストしました：

  • 要約 (1024 → 128 トークン)
  • チャットボット (128 → 128 トークン)
  • 翻訳 (1024 → 1024 トークン)
  • エッセイ作成 (128 → 1024 トークン)
  • ライブ字幕生成 (16 → 16 トークン)

スループットは1秒あたりのデコードトークン数で測定し、定常状態のパフォーマンスに焦点を当てるため最初のトークンは除外しました。

結果: Turin vs. Genoa

スループット比較

このチャートはTurinが一貫してGenoaを上回ることを示しており、ほとんどのバッチサイズとユースケースで約2倍の高スループットを実現しています。この改善は、コア数の増加とZenDNNアクセラレートされたtorch.compileパイプラインによる効率向上に起因します。

再現性ツール

  • optimum‑benchmark – Hugging Faceの統合ベンチマークフレームワークを使用し、zentorchバックエンドでテストをオーケストレーションしました。
  • Dockerfile (forthcoming) – ベンチマークコードと依存関係を含む最適化されたDockerイメージがリリースされ、結果の再現が容易になります。

ZenDNNのはじめ方

開発者は以下のオープンソースプラグインを通じてAMD Zen Deep Neural Network（ZenDNN）エコシステムを試すことができます：

  • ZenTF – TensorFlow統合: https://github.com/amd/ZenDNN-tensorflow-plugin
  • ZenTorch – PyTorch統合（ベンチマークで使用）: https://github.com/amd/ZenDNN-pytorch-plugin
  • ZenDNN ONNXRuntime – ONNX Runtimeサポート: https://github.com/amd/ZenDNN-onnxruntime

詳細は公式AMD ZenDNNページをご覧ください: https://www.amd.com/en/developer/zendnn.html.

結論

AMDのEPYC Turin CPUは、Genoa世代と比較してLLM推論において大幅なパフォーマンス向上を実現し、Hugging Faceユーザーは低レイテンシ、高スループット、コスト削減を達成できます。ZenDNNアクセラレートされたtorch.compileと今後リリースされるDockerデプロイパッケージの組み合わせにより、コミュニティがこの新しいハードウェア世代を採用しベンチマークすることが容易になります。

Sources