2026 年推理硬體革命：記憶體導向晶片、量化與新架構

2026 年，推理已成為主導性的 AI 工作負載

AI 推理現在消耗的資料中心資源已超過訓練，因為大型語言模型（LLMs）被持續用於生成、推理和自主代理。企業和分析師引用了 Jensen Huang 的「推理轉折點」以及 Matt Kimball 的觀點，即「訓練是昨天的新聞」。這種轉變是由以下因素驅動的：

  • 執行多次推理路徑（思維鏈）的推理模型，其生成的 token 數量比簡單模型多達 20 倍。
  • 全天候運作的代理式 AI，將推理轉變為持續的背景負載。
  • 企業和消費者服務對低延遲、高吞吐量 token 生成的需求不斷增長。

為什麼推理與訓練有根本性的不同

訓練通過反向傳播反覆更新數十億個參數，需要大量的計算能力和大型 GPU 集群。推理則凍結參數，並為每個生成的 token 反覆讀取整個模型和不斷增長的鍵值（KV）緩存。這兩個階段是：

  • 預填充（Prefill） – 對整個提示詞進行並行注意力計算；由於工作可以分配到許多核心上，因此非常適合 GPU。
  • 解碼（Decode） – 自回歸的逐 token 生成；每一步都必須讀取整個模型和 KV 緩存，使記憶體頻寬成為瓶頸。

研究（例如 arXiv:2503.08311）顯示，Nvidia H100 GPU 在解碼期間有 50-80% 的時間處於閒置狀態，因為它們在等待來自記憶體的数据。

記憶體頻寬是主要的限制因素

Shahriar “Sha” Rabii（Meta → Majestic Labs）和 Sudeep Bhoja（d-Matrix）等行業專家認為，推理工作負載過度配置了計算能力，卻讓記憶體飢渴。結果是推動了將記憶體在物理上更靠近計算單元或大幅擴展記憶體介面的架構。

競爭性的記憶體導向加速器策略

1. 堆疊式 DRAM 上計算（d-Matrix Raptor）

  • 將 AI 加速器直接放置在 DRAM 晶圓上，將數據傳輸距離從毫米級縮短到微米級。
  • 使用現成的 DRAM，而不是昂貴的高頻寬記憶體（HBM）。

2. 長距離記憶體介面（Majestic Labs）

  • 引入專有的銅鏈路和聚合晶片，可以傳輸長達約 1 公尺的位元。
  • 在單一機架中啟用高達 128 TB 的 DRAM，遠超 Nvidia 的 GB300 NVL72（約 20 TB HBM3E）。

這兩種方法都避開了 HBM 的 2-3 毫米距離限制，並利用了 DRAM 較低的成本（比 HBM 便宜 2-3 倍）。

3. 下一代 HBM4（Nvidia Vera Rubin GPU）

  • 預計在 2026 年下半年推出，HBM4 將每個堆疊的頻寬和記憶體翻倍，根據 SK Hynix 的 Hoshik Kim 的說法，這有望「打破記憶體瓶頸」。

用於預填充 + 解碼的異構晶片系統

  • Nvidia：結合 Vera Rubin GPU（預填充）和 Groq 3 LPU（解碼）。LPU 犧牲原始 FLOPs 以換取 500 MiB 的晶片上 SRAM，提供約為 GPU 7 倍的記憶體頻寬。256 個 LPU 被打包進機架級的 LPX 系統中。
  • AWS：將 Trainium（預填充）與 Cerebras Wafer-Scale Engine 3（WSE-3）配對用於解碼。WSE-3 在晶圓級晶片上嵌入 44 GB 的 SRAM，支持在單一晶圓上運行 40-80 B 參數的模型，並通過多晶片網路擴展到 1 T 參數的模型。
  • OpenAI：部署 WSE-3 來驅動 GPT-5.3-Codex-Spark，實現了超過 1,000 tokens/s 的速度，而標準 GPT-5.4 為 50-125 tokens/s。

Nvidia 的 Ian Buck 也呼應了這一共識：「要進行現代 AI 推理，你需要所有的晶片。」

量化與低精度數字格式

推理速度還取決於每個權重佔用多少位元。低精度格式減少了記憶體流量和計算成本，但存在精度損失的風險。

  • NVFP4（Nvidia）和 MXFP4（AMD/Intel/Qualcomm）是保留大部分模型質量的 4 位元格式。
  • Tensordyne 的 Napier 晶片使用對數數字系統：存儲指數讓硬體可以用加法取代乘法，從而降低功耗和晶片面積。Tensordyne 聲稱在功耗低於可比 Nvidia 硬體 10% 的情況下，每用戶可達到 1,300 tokens/s。
  • 將 DeepSeek-R1 從 FP8 量化到 NVFP4，基準測試分數下降不到 1%，同時性能提升了三倍。

新興的專用 ASIC

  • Etched 的 Sohu ASIC 將 Transformer 數據流直接映射到矽片上，在 Meta 的 Llama 70B 上實現了 500,000 tokens/s。其代價是對非 Transformer 模型的靈活性有限。
  • 這些 ASIC 體現了一個更廣泛的趨勢：設計反映 LLM 推理精確計算模式的矽片，而不是依賴通用 GPU。

來自 Hacker News 的社群見解

"如果 AI 推理像 Kimball 預期的那樣具有吸引力，演變很可能遵循與 CPU 相同的軌跡……個別創新的清單可以填滿幾十本書。" – @aschla

"我不知道這個關於將數字存儲為指數的酷炫技巧！這種技術有名字嗎？在來回轉換時不會有開銷嗎？" – @swimwiththebeat（指 Tensordyne 的對數表示法）。

"優秀的文章。我相信未來大多數基準測試的性能提升將來自於堆疊的這一側，從而實現更快的迭代/遞歸。" – @superposition

這些評論突出了兩個反覆出現的主題：架構多樣性的廣度以及低層級數字技巧對未來提升的重要性。

展望：沒有單一贏家，而是多管齊下的生態系統

2026 年的推理硬體格局由以下特點定義：

  1. 記憶體鄰近性 – 將計算堆疊在 DRAM 上（d-Matrix）或在晶圓級晶片上嵌入大量 SRAM（Cerebras, Groq）。
  2. 擴展的記憶體介面 – Majestic Labs 的米級銅鏈路。
  3. 下一代 HBM – HBM4 將提高以 GPU 為中心的設計的上限。
  4. 量化與新型數字系統 – 4 位元格式、對數表示法和混合精度管線。
  5. 系統級異構性 – 將針對預填充優化的 GPU 與針對解碼優化的 LPU 或晶圓級引擎相結合。

由於推理需求預計將持續增長——由推理模型、思維鏈提示和自主代理驅動——沒有單一方法可以主導。相反，資料中心架構師將組裝異構管線，將 token 生成的每個階段匹配到最有效的矽片。

關鍵要點

  • AI 推理已超越訓練，成為新加速器開發的主要驅動力。
  • 記憶體頻寬，而非原始計算能力，是解碼階段 token 生成的主要瓶頸。
  • 企業正在通過堆疊式記憶體上計算、超長記憶體鏈路、晶圓級 SRAM 和下一代 HBM 來解決瓶頸問題。
  • 激進的量化（4 位元、對數）和專用 ASIC 進一步放大了吞吐量，同時降低了功耗。
  • 未來將是一個異構生態系統，其中 GPU、LPU、晶圓級引擎和專用 ASIC 協同工作，以服務越來越大的 LLMs。

Sources

相關