テキスト生成推論 (TGI) の Intel Gaudi 統合

Hugging Face は Intel Gaudi ハードウェアサポートを Text Generation Inference (TGI) にネイティブに統合し、Intel の専用 AI アクセラレータ上で大規模言語モデル (LLM) を本番環境対応のサービングスタックを使用してデプロイできるようにしました。この統合により別個のフォークが不要となり、Gaudi ユーザーは最新の TGI 機能にすぐにアクセスできます。

統一されたバックエンドアーキテクチャ

TGI は現在、メインコードベース内で直接 Intel Gaudi をサポートしています（PR #3091 による）。これにより、従来必要だった別個の tgi-gaudi フォークの使用が不要になりました。この移行は新しい TGI のマルチバックエンドアーキテクチャにより実現され、ユーザー体験を簡素化し、Gaudi ハードウェアが TGI エコシステム内で第一級の存在として扱われるようになりました。

サポートされている Intel Gaudi ハードウェア

この統合は、以下を含む Intel Gaudi アクセラレータの全ラインをサポートします。

• Gaudi1: AWS EC2 DL1 インスタンスで利用可能です。
• Gaudi2: Intel Tiber AI Cloud と Denvr Dataworks で利用可能です。
• Gaudi3: Intel Tiber AI Cloud、IBM Cloud、そして Dell、HP、Supermicro などの OEM で利用可能です。

主な機能と本番環境での利点

Gaudi バックエンドは TGI の本番レベル機能を Intel ハードウェアにもたらし、従来の GPU デプロイの代替手段を提供します。主な利点は次のとおりです。

• 本番対応機能: 動的バッチ処理とストリーミング応答をサポート。
• デプロイの柔軟性: ハードウェアの多様性が向上し、特定のワークロードに対して魅力的な価格性能比を実現。
• 高度な技術サポート: マルチカード推論（シャーディング）、ビジョン・ランゲージモデル、FP8 精度の機能。

最適化されたモデルサポート

Hugging Face は Intel Gaudi ハードウェア向けにモデリングコードを最適化し、シングルカードおよびマルチカード構成の両方で性能を最大化しています。現在、Gaudi 用に最適化されているモデルは次のとおりです。

• Llama シリーズ: Llama 3.1（8B と 70B）、Llama 3.3（70B）、Llama 3.2 Vision（11B）。
• Mistral/Mixtral: Mistral（7B）と Mixtral（8x7B）。
• その他のアーキテクチャ: CodeLlama（13B）、Falcon（180B）、Qwen2（72B）、Starcoder/Starcoder2、Gemma（7B）、Llava-v1.6-Mistral-7B、Phi-2。

さらに、Intel Neural Compressor（INC）を使用した FP8 量子化がサポートされ、性能がさらに向上します。

デプロイと実装

ユーザーは公式 Docker イメージ（ghcr.io/huggingface/text-generation-inference:3.2.1-gaudi）を使用して Gaudi 上に TGI をデプロイできます。デプロイには Gaudi ハードウェア搭載マシンと --runtime=habana フラグが必要です。

今後のアップデートでは、DeepSeek-r1/v3 や QWen-VL などの追加モデルのサポートが予定されています。