AMD 收購 Taalas 以實施用於 AI 推論的模型特定整合電路 (MSICs)\n\nAMD 已收購總部位於多倫多的 AI 晶片新創公司 Taalas，旨在透過實施一種截然不同的推論方法，來挑戰 Nvidia 在 AI 硬體領域的霸主地位。與傳統的 GPU 或資料流架構不同，Taalas 利用模型特定整合電路 (MSICs)，將模型權重直接蝕刻在矽晶圓上，從而消除了推論期間儲存權重對高頻寬記憶體 (HBM) 的需求。\n\n## 推論吞吐量的巨大提升\n\n透過消除記憶體頻寬瓶頸，將模型權重蝕刻在矽晶圓上可以大幅提升 Token 生成速度。\n\nTaalas 的第一款測試晶片 HC1 (採用 TSMC 6nm 製程) 展示了為 Meta 的 Llama 3.1 8B 提供每秒 16,960 個 Token 的能力。在宣布此消息時，其性能比 Nvidia GPU 約快 48 倍，比 Cerebras 加速器快 8.5 倍。\n\n### 硬體架構\n\nTaalas 處理器分為兩個主要功能區域：\n- Mask-ROM Recall Fabric: 這是模型權重永久蝕刻在矽晶圓上的地方。\n- SRAM Recall Fabric: 此區域儲存 KV caches 和微調適配器 (fine-tuning adapters)，儘管權重是固定的，但仍能提供一定程度的靈活性。\n\n### 擴展至大型模型\n\n對於第二代 HC2 晶片，Taalas 目標是支持每顆晶片高達 200 億個參數。為了支持萬億參數模型，AMD 可以利用流水線並行 (pipeline parallelism) 將權重分佈在多個加速器上。對於一個萬億參數模型，大約需要 50 顆 HC2 加速器。這種方法比目前的機架系統（例如 Nvidia 的 LPX）更具空間和電力效率，後者需要數千個 LPU 來實現類似的結果。\n\n## 戰略性整合至 AMD Helios 機架\n\nAMD intención 旨在將基於 Taalas 的加速器與其基於 Instinct 的 Helios 機架配對，創建一種解耦架構 (disaggregated architecture)。在這種設置下，計算密集型的提示詞處理 (prompt processing) 由 GPU 處理，而高速的 Token 生成則交由 Taalas MSICs 負責。\n\nAMD 可能還會實施「tick-tock」部署策略：客戶首先在靈活的 Instinct 加速器上驗證模型，然後在模型定型後，轉向使用 Taalas 加速器進行生產規模的高性能推論。\n\n## 權衡：靈活性 vs. 性能\n\nMSICs 的主要缺點是缺乏靈活性。由於權重是蝕刻在矽晶圓上的，任何重大的模型更新都需要重新設計晶片 (hardware re-spin)。\n\n### 緩解措施與成本\n\n為了降低更新的成本和時間，Taalas 聲稱僅需更改兩層金屬層即可進行重新設計，而無需從頭開始製造過程。此外，該公司建議，將權重蝕刻在矽晶圓上比最初訓練尖端模型 (frontier model) 的成本要低 100 倍。\n\n### 目標使用案例\n\n由於硬體的剛性，這項技術最有可能被以下對象採用：\n- 尖端模型開發者: OpenAI、Anthropic 和 Meta 等公司，其模型穩定且流量高。\n- 基礎設施提供商: 尋求降低每 Token 成本的大規模推論提供商。\n- 嵌入式系統與 IoT: 機器人技術和邊緣設備，其中低延遲、本地推論是關鍵，且模型更新頻率較低。\n\n## 對 AI 開發與 UX 的影響\n\n增加的推論速度可能會從根本上改變 AI 模型的使用和開發方式：\n\n- 測試時擴展 (Test-Time Scaling): 模型開發者可以讓模型「思考」更久（測試時擴展），以減少幻覺並增加準確性，而不讓用戶等待過於漫長的時間。\n- 多代理人協作 (Multi-Agent Orchestration): 極高的每秒 Token 數 (TPS) 能夠使用數十或數百個專業化的子代理人來實時效正輸出，而不會犧牲感知的延遲。\n- New UX Patterns: 高速推論可實現「邊打字邊搜尋」的 AI 交互作用，以及所有數位資訊的實時增強。\n\n## 社群觀點與技術分析\n\n業界觀察家和開發者都強調了關於 Taalas 收購案的幾個關鍵點：\n\n> "模型很爛，但速度驚人... 推理與工具使用生成規模隨 TPS 擴展。想像一下在一個模型上進行 100 倍的推理，或 100 倍並行的工具使用。"\n\n批評者指出，尖端 (SOTA) 模型的快速更迭是主要風險。有人認為，模型可能在晶片製造完成時就已經過時。However，支持者建議，「好用」的對於特定業務使用案例的模型可以被封裝在「黑盒」硬體中，用於私有、高速、本地研究和數據處理。\n\n其他技術觀察也包括，如果將這些晶片實施在模組化插槽中（例如 ZIF 插槽或 USB-C 加速器），這些晶片有可能作為「強化版 FPGAs」來運作，允許用戶像更換硬體模組一樣物理性地更換模型。