Hugging Face AWS Inferentia2 統合

Hugging Face は AWS Inferentia2 (Inf2) のアクセラレーションをデプロイメントエコシステムに統合し、ユーザーは Amazon SageMaker を介して 100,000 以上のモデルをデプロイでき、Hugging Face Inference Endpoints で直接 Inf2 インスタンスオプションを利用できるようになりました。この統合は、optimum-neuron オープンソースライブラリを使用して、プロダクション AI ワークロードに対して高性能とコスト効率を提供することを目的としています。

Amazon SageMaker におけるモデルサポートの拡張

AWS の顧客は、Amazon SageMaker を使用して AWS Inferentia2 インスタンス上で Hugging Face Hub の公開モデルを 100,000 以上デプロイできるようになりました。この拡張により、6 つの機械学習タスクと 14 の新しいモデルアーキテクチャがサポートされます。

  • サポートされているアーキテクチャ: albert, bert, camembert, convbert, deberta, deberta-v2, distilbert, electra, roberta, mobilebert, mpnet, vit, xlm, xlm-roberta。
  • サポートされているタスク: テキスト分類、テキスト生成、トークン分類、マスク埋め、質問応答、特徴抽出。

このデプロイパスにより、ユーザーは SageMaker の MLOps、ガバナンス、モデルファインチューニング向けのマネージド機能を活用できます。

Hugging Face Inference Endpoints における AWS Inferentia2

Hugging Face Inference Endpoints は、設定オプションとして AWS Inferentia2 インスタンスを含むようになり、Hub のモデルをワンクリックでデプロイできるようになりました。Llama 3 などの大規模言語モデル (LLM) 用に、以下の 2 つのインスタンスタイプが用意されています。

  • Inf2-small: 2 コア、32 GB メモリ、$0.75/時間（Llama 3 8B 向けに最適化）。
  • Inf2-xlarge: 24 コア、384 GB メモリ、$12/時間（Llama 3 70B 向けに最適化）。

Inference Endpoints は秒単位で課金され、自動レプリカオートスケーリングと「スケール・トゥ・ゼロ」機能を備えてコスト最適化を実現します。

Text Generation Inference (TGI) を使用した技術的実装

LLM に対しては、Inference Endpoints が Neuron 用 Text Generation Inference (TGI) を利用します。TGI はプロダクション規模の LLM サービング向けに設計され、継続的バッチ処理とストリーミングをサポートします。さらに、TGI 経由でデプロイされた LLM は OpenAI SDK Messages API と互換性があり、既存のアプリケーションコードを変更せずにエンドポイントを切り替えることが可能です。

今後のロードマップ

Hugging Face は Inference Endpoints 内で AWS Inferentia2 と互換性のあるモデルの範囲を拡大しています。計画中のアップデートは以下の通りです。

  • 新しいモデルタイプ: Diffusion と Embedding モデルのサポートを追加し、画像生成の高速化やセマンティック検索・レコメンデーションシステムを実現。
  • パフォーマンス最適化: Neuronx 上の Text Generation Inference (TGI) の継続的な改良により、LLM デプロイの効率と速度を向上させます。

Sources