Google TPU 8txおよびTPU 8i Maxリリースノート

新しいTPUシステムの概要

Googleは、第8世代Tensor Processing Unit (TPU) ポートフォリオを拡充し、新たにTPU 8txとTPU 8i Maxという2つの専門システムを発表しました。これにより、第8世代TPUシステムは既存のTPU 8tおよびTPU 8iと合わせて計4種類となりました。今回の拡充は、「エージェント時代」の特定の要件に対応することを目的としており、セキュアで機密性の高いコンピューティングと、巨大なコンテキストウィンドウを処理する能力に重点を置いています。

機密推論向けTPU 8tx

TPU 8txは、ハードウェアレベルのデータセキュリティを必要とする規制産業や政府機関のワークロード向けに設計されています。TPU 8tと同じシリコンをベースにしていますが、ハードウェア層に直接セキュリティ機能が統合されています。第5世代AMD EPYC CPUホストと組み合わせることで、機密データやモデルの重みが処理中であっても隔離され、保護された状態を維持します。また、TPU 8txはBoardflyネットワークを活用することで、マルチステップの自律型エージェントに対して低遅延なパフォーマンスを提供し、TPU 8tと比較して最大2倍の低遅延を実現します。

高密度推論向けTPU 8i Max

TPU 8i Maxは、2つのTPU 8iチップを1つのパッケージに統合することで「メモリの壁」に対処します。この構成により、標準のTPU 8iと比較して、利用可能な演算能力、SRAM、および広帯域メモリ (HBM) の帯域幅が2倍になります。このシステムは、ソフトウェアコードベース全体や長時間の動画を分析するエージェントなど、巨大なコンテキストウィンドウを扱うワークロード向けに設計されています。既存のラック設置面積に2倍のシリコンを収めることで、TPU 8i Maxは平方フィートあたり、およびワットあたりの演算密度を向上させています。

ソフトウェアとエコシステムのアップデート

Googleは、開発者のアクセシビリティを向上させるため、これらのハードウェアリリースに合わせてオープンソースのソフトウェアスタックを更新しています。

TorchTPUとフレームワークのサポート: GoogleはTorchTPUをオープンソース化し、TPU上でのネイティブなPyTorchおよびHugging Faceモデルの実行を可能にしました。また、vLLMやSGLangといった推論エンジンへのバックエンドサポートも提供します。
TPU Agent Suite: オンボーディングの自動化、ボトルネックの診断、自然言語を使用したカスタムカーネルの自動チューニングを行うための新しいプレビューツールスイートです。
XLA Serving Engine: Pythonでトレーニングされたモデルを、TPU、GPU、CPU全体で低遅延のC++ランタイムとして提供できるオープンソースエンジンです。
Agent Compute Engine: アイドル状態のエージェントセッションを一時停止および再開することで、非アクティブ期間中の運用コストを削減するソフトウェア機能です。
TPU Sync: チップのHBM、ホストのDRAM、データセンターのネットワークを統合メモリ階層に変換し、Time to First Token (TTFT) を90%以上削減する新しいモデル状態レイヤーです。

コミュニティのフィードバックと業界の視点

Googleはこれらの新システムのアクセシビリティを強調していますが、コミュニティからはより詳細な技術データを求める声が上がっています。批判的な意見としては、ワットあたりのトークン数やトークンあたりの価格といった具体的なパフォーマンス指標の欠如、およびNVIDIA GPUなどの競合ハードウェアとの直接的な比較がない点が挙げられています。

"購入リンクや購入方法が一切記載されていない製品発表ページなど無意味だ。" — HN User waterTanuki

"それぞれのワット/トークンや$/トークンの数値はどこにあるのか？また、それぞれがNVDAの同等価格製品とどう比較されるのか？" — HN User ur-whale

さらに、開発者からは、現在のGoogle Colabの提供内容が依然として古い小規模な構成に限定されていることを指摘し、個々のユーザーがこれらの新しいTPUモデルを実際に利用できるのかという点について不満の声が上がっています。