Google Cloud TPU を Hugging Face Inference Endpoints と Spaces で使用
Hugging Face は Google Cloud TPU v5e のサポートを Inference Endpoints と Spaces に統合し、AI 開発者が Google のカスタム AI ハードウェアを使用してアプリケーションを加速できるようにしました。この統合により、Large Language Models (LLMs) や AI 搭載デモをデプロイ・提供するためのスケーラブルでコスト効果の高い代替手段が提供されます。
Hugging Face Inference Endpoints における TPU v5e 統合
Google Cloud TPU v5e は、Hugging Face Inference Endpoints のハードウェアオプションとして利用可能になり、マネージドインフラ上でジェネレーティブ AI モデルをシームレスにデプロイできます。ユーザーは us-west1 リージョンで Google Cloud Platform を選択することでこれらの TPU にアクセスできます。
利用可能な TPU 構成と価格
Inference Endpoints は、最初の 3 つの TPU v5e インスタンス構成を提供します。
- v5litepod-1: 1 コア、16 GB メモリ ($1.375/時間)
- v5litepod-4: 4 コア、64 GB メモリ ($5.50/時間)
- v5litepod-8: 8 コア、128 GB メモリ ($11.00/時間)
パラメータ数が最大 20 億のモデルには v5litepod-1 構成で十分です。より大きなモデルの場合は、メモリ予算の問題を防ぎレイテンシを低減するために v5litepod-4 または v5litepod-8 構成が推奨されます。
技術的実装とモデルサポート
Google TPU 上で Hugging Face モデルをデプロイできるように、以下の技術コンポーネントが開発されました。
- Optimum TPU: Google TPU 上で Hugging Face モデルのトレーニングとデプロイを簡素化するために作成されたオープンソースライブラリ。
- TGI Integration: Inference Endpoints は Optimum TPU と Text Generation Inference (TGI) を組み合わせて、TPU ハードウェア上で LLM を提供します。
- Supported Architectures: 初期サポートには Gemma、Llama、Mistral などの人気モデルアーキテクチャが含まれます。
Hugging Face Spaces に対する TPU v5e サポート
開発者は現在、Hugging Face Spaces を TPU v5e インスタンスで実行するようアップグレードでき、高性能な AI 搭載デモやアプリケーションの作成・ホスティングが可能になります。Spaces のハードウェア構成と価格は Inference Endpoints と同一です。
- v5litepod-1: 1 コア、16 GB メモリ ($1.375/時間)
- v5litepod-4: 4 コア、64 GB メモリ ($5.50/時間)
- v5litepod-8: 1 コア、16 GB メモリ ($1.375/時間) — ソースに基づく訂正: ソースでは v5litepod-8 は 8 コア、128 GB メモリ ($11.00/時間) と両サービスで記載されています。
ユーザーは、特定の Space の Settings メニューに移動し、希望する TPU 構成を選択することで TPU サポートを有効にできます。