Google TPU 8tx 和 TPU 8i Max 发布说明

新 TPU 系统概述

Google 扩展了其第八代张量处理单元 (TPU) 产品组合，推出了两款新的专用系统：TPU 8tx 和 TPU 8i Max。这些新增产品使第八代 TPU 系统的总数达到四款，加入了之前发布的 TPU 8t 和 TPU 8i 的行列。此次扩展旨在满足“智能体时代”的特定需求，重点关注安全、机密计算以及处理海量上下文窗口的能力。

用于机密推理的 TPU 8tx

TPU 8tx 专为需要硬件级数据安全的受监管行业和政府工作负载而设计。它基于与 TPU 8t 相同的芯片构建，但将安全性直接集成到了硬件层。通过与第 5 代 AMD EPYC CPU 主机配对，该系统确保敏感数据和模型权重即使在处理过程中也能保持隔离和受保护。TPU 8tx 还利用 Boardfly 网络为多步自主智能体提供低延迟性能，与 TPU 8t 相比，延迟降低了高达 2 倍。

用于高密度推理的 TPU 8i Max

TPU 8i Max 通过将两颗 TPU 8i 芯片组合在单个封装上，解决了“内存墙”问题。与标准 TPU 8i 相比，这种配置使可用的计算、SRAM 和高带宽内存 (HBM) 带宽翻了一番。该系统专为涉及海量上下文窗口的工作负载而设计，例如分析整个软件代码库或长时间视频的智能体。通过在现有的机架空间内安装两倍的硅片，TPU 8i Max 提高了每平方英尺和每瓦特的计算密度。

软件和生态系统更新

Google 将这些硬件发布与更新的开源软件栈相结合，以提高开发者的可访问性：

• TorchTPU 和框架支持： Google 已将 TorchTPU 开源，以支持在 TPU 上原生执行 PyTorch 和 Hugging Face 模型，并为 vLLM 和 SGLang 等推理引擎提供后端支持。
• TPU Agent Suite： 一套新的预览工具，旨在实现自动化入门、诊断瓶颈，并使用自然语言自动调整自定义内核。
• XLA Serving Engine： 一个开源引擎，允许在 Python 中训练的模型在 TPU、GPU 和 CPU 上的低延迟 C++ 运行时中进行服务。
• Agent Compute Engine： 一项软件功能，可挂起和恢复空闲的智能体会话，以降低非活动期间的运营成本。
• TPU Sync： 一个新的模型状态层，将芯片 HBM、主机 DRAM 和数据中心网络转化为统一的内存层次结构，从而将首字延迟 (TTFT) 降低了 90% 以上。

社区反馈与行业视角

尽管 Google 强调了这些新系统的可访问性，但社区讨论中也强调了对更细致技术数据的需求。批评者指出，缺乏具体的性能指标（如每瓦代币数或每代币价格），以及与 NVIDIA GPU 等竞争对手硬件的直接对比。

"一个没有任何购买链接或购买方式的产品发布页面是毫无用处的。" — HN User waterTanuki

"这些产品的每瓦/代币或 $/代币数据在哪里？它们与各自的 NVDA 同等价格产品相比如何？" — HN User ur-whale

此外，开发者对这些新 TPU 模型对个人用户的实际可用性表示不满，并指出当前的 Google Colab 产品仍然仅限于较旧、较小的配置。