Google TPU 8tx 및 TPU 8i Max 릴리스 노트

새로운 TPU 시스템 개요

Google은 8세대 Tensor Processing Unit (TPU) 포트폴리오를 확장하여 TPU 8tx와 TPU 8i Max라는 두 가지 새로운 특화 시스템을 선보였습니다. 이로써 기존에 출시된 TPU 8t와 TPU 8i를 포함하여 8세대 TPU 시스템은 총 4종이 되었습니다. 이번 확장은 보안이 강화된 기밀 컴퓨팅과 대규모 컨텍스트 윈도우 처리 능력에 중점을 두어 "에이전트 시대(agentic era)"의 특정 요구 사항을 해결하는 것을 목표로 합니다.

기밀 추론을 위한 TPU 8tx

TPU 8tx는 하드웨어 수준의 데이터 보안이 필요한 규제 산업 및 정부 워크로드를 위해 설계되었습니다. TPU 8t와 동일한 실리콘을 기반으로 하지만 보안 기능을 하드웨어 계층에 직접 통합했습니다. 5세대 AMD EPYC CPU 호스트와 결합하여 민감한 데이터와 모델 가중치가 활성 처리 중에도 격리되고 보호되도록 보장합니다. 또한 TPU 8tx는 Boardfly 네트워크를 활용하여 다단계 자율 에이전트를 위한 저지연 성능을 제공하며, TPU 8t 대비 최대 2배 낮은 지연 시간을 제공합니다.

고밀도 추론을 위한 TPU 8i Max

TPU 8i Max는 두 개의 TPU 8i 칩을 단일 패키지로 결합하여 "메모리 장벽(memory wall)" 문제를 해결합니다. 이 구성은 표준 TPU 8i와 비교하여 사용 가능한 컴퓨팅, SRAM 및 고대역폭 메모리(HBM) 대역폭을 두 배로 늘립니다. 이 시스템은 전체 소프트웨어 코드베이스나 장시간 영상을 분석하는 에이전트와 같이 대규모 컨텍스트 윈도우가 필요한 워크로드를 위해 설계되었습니다. 기존 랙 공간에 두 배의 실리콘을 탑재함으로써 TPU 8i Max는 평방 피트당 및 와트당 컴퓨팅 밀도를 높였습니다.

소프트웨어 및 생태계 업데이트

Google은 개발자의 접근성을 향상하기 위해 업데이트된 오픈 소스 소프트웨어 스택과 함께 이러한 하드웨어 릴리스를 배치하고 있습니다.

• TorchTPU 및 프레임워크 지원: Google은 TorchTPU를 오픈 소스로 공개하여 TPU에서 PyTorch 및 Hugging Face 모델을 기본적으로 실행할 수 있도록 했으며, vLLM 및 SGLang과 같은 추론 엔진에 대한 백엔드 지원을 제공합니다.
• TPU 에이전트 제품군: 자연어를 사용하여 온보딩을 자동화하고, 병목 현상을 진단하며, 사용자 지정 커널을 자동 튜닝하도록 설계된 새로운 미리보기 도구 제품군입니다.
• XLA 서빙 엔진: Python으로 학습된 모델을 TPU, GPU, CPU 전반에서 저지연 C++ 런타임으로 서비스할 수 있게 해주는 오픈 소스 엔진입니다.
• 에이전트 컴퓨팅 엔진: 유휴 에이전트 세션을 일시 중지하고 재개하여 비활성 기간 동안 운영 비용을 절감하는 소프트웨어 기능입니다.
• TPU Sync: 칩 HBM, 호스트 DRAM 및 데이터 센터 네트워킹을 통합 메모리 계층 구조로 전환하여 첫 토큰 생성 시간(TTFT)을 90% 이상 단축하는 새로운 모델 상태 계층입니다.

커뮤니티 피드백 및 업계 관점

Google은 이러한 새로운 시스템의 접근성을 강조하고 있지만, 커뮤니티에서는 더 세부적인 기술 데이터를 원하는 목소리가 높습니다. 비평가들은 와트당 토큰(watt-per-token)이나 토큰당 가격(price-per-token) 수치와 같은 구체적인 성능 지표가 없으며, NVIDIA GPU와 같은 경쟁사 하드웨어와의 직접적인 비교가 부족하다고 지적했습니다.

"구매 링크나 구매 방법이 전혀 없는 제품 발표 페이지는 쓸모가 없다." — HN User waterTanuki

"각 모델의 와트당 토큰이나 토큰당 가격 수치는 어디에 있는가? 그리고 각각의 가격 대비 NVIDIA 제품과 어떻게 비교되는가?" — HN User ur-whale

또한 개발자들은 현재 Google Colab 제공 서비스가 여전히 구형의 소규모 구성으로 제한되어 있다는 점을 언급하며, 개인 사용자가 이러한 새로운 TPU 모델을 실제로 사용할 수 있는지에 대해 불만을 표출하고 있습니다.