GLM5.2 Inference on AMD MI355X: Achieving 2626 tok/s/node Wafer demonstrates that the AMD MI355X can achieve 2626 tok/s/node for GLM5.2, providing over 2x lower cost than NVIDIA Blackwell while maintaining comparable performance.

在 AMD MI355X 上執行 GLM5.2 推論：達成 2626 tok/s/節點

Wafer 已證明 AMD MI355X GPU 能以 2626 tok/s/節點的總吞吐量提供 GLM5.2 模型，實現的成本效能比 NVIDIA 的 Blackwell 架構高出兩倍以上。雖然 NVIDIA 通常在新模型的「day‑0」支援上擁有軟體優勢，Wafer 的最佳化顯示，隨著自動化 kernel 與模型最佳化工具的進步，推論效能的差距正逐漸縮小。

效能基準

AMD MI355X 在高吞吐量與成本效益方面表現優異，尤其在 prefill 為主的工作負載中。於一個測試情境中，使用 20k 輸入 token、1k 輸出 token，且快取命中率為 60%，MI355X 在 2.4 次請求每秒 (RPS) 時達到 2626 tok/s/節點的總吞吐量，Time to First Token (TTFT) 的 p95 為 2.22 秒。

此效能約為在 B200 上測得吞吐量的 80%（B200 在 3.0 RPS 時達到 3192 tok/s/節點），但每顆 GPU 的硬體成本約低 2.75 倍。

吞吐量指標

持續 RPS	總 tok/s/節點	TTFT p50 / p95	成功率
0.5	449	0.59s / 0.60s	100%
1.0	974	0.60s / 0.81s	100%
1.5	1913	0.62s / 1.03s	100%
2.0	1944	0.62s / 1.05s	100%
2.25	2089	0.63s / 1.23s	100%
2.4（飽和）	2626	0.81s / 2.22s	100%

對於單串流解碼，MI355X 在使用 10k 輸入與 1.5k 輸出 token 的情況下，以 TensorWave 容量提供服務，達到 213 tok/s 的 GLM5.2 效能。

最佳化策略

要達成這些結果，需要特定的量化與框架選擇，以克服 ROCm 堆疊上缺乏原生「即插即用」支援 GLM5.2 的問題。

量化與框架

Wafer 使用 AMD Quark 將基礎 bf16 GLM-5.2 模型量化為 MXFP4。基準測試顯示此量化相較於官方 FP8 基線幾乎無損：

評估項目	FP8 基線	MXFP4	Δ (MXFP4 − FP8)
GSM8K	0.965 ± 0.013	0.955 ± 0.014	−0.010
GPQA-Diamond	0.9217 ± 0.027	0.9026 ± 0.029	−0.019
tau2 macro	0.819	0.834	+0.015

sglang 被選為推論引擎，因為它在原生支援上摩擦最小，且能利用 MXFP4 量化同時保持一致性，與 vLLM（缺乏可用的 MXFP4 + GlmMoeDsa 路徑）或 ATOM（在長上下文中出現輸出退化）不同。

投機解碼的技術修正

為了在 ROCm 上的 sglang 啟用投機解碼，Wafer 實作了兩項主要修正：

1. Weight Shape Mismatch（權重形狀不匹配）: MTP（Multi-Token Prediction）頭的共享專家以 bf16 儲存，但因模組前綴不匹配（model.decoder.* 與 model.layers.78.mlp.shared_experts.*）導致 sglang 的量化查找失敗。Wafer 透過在 Quark 量化清單中以正確的 decoder 名稱複製第 78 層的條目，解決此問題，避免初始化崩潰。
2. Cuda Runtime Dependency（Cuda 執行時相依性）: 深度投機解碼（深度 ≤ 4）被一個明確包含 <cuda_runtime.h> 的融合多步驟 metadata kernel 阻擋。透過加入 #ifdef USE_ROCM 防護條件解決此問題。

Prefill 最佳化

為了最大化總吞吐量，Wafer 從 Tensor Parallelism (TP8) 配置切換至 TP4×DP2 配置。並手動調整 GLM-5.2 fp4 形狀（model_dim 6144, moe_inter 2048, E=256, topk=8）的 MoE（Mixture of Experts）kernel 選擇，因為 sglang 映像預設使用緩慢的 FlyDSL 啟發式回退。

社群見解與反對意見

雖然此技術成就相當顯著，社群討論卻指出了關於實際部署的多項警示：

「雖然很酷，但在實際使用中將量化至 FP4 幾乎從未無損。許多供應商宣稱在 Kimi 與 GLM 上擁有高 TPS，但模型已被功能性切除，已不再接近前沿品質。」

其他批評者指出，效能提升高度依賴 60% 的快取命中率與投機解碼的使用，這可能無法反映所有生產工作負載。亦有人呼籲對每瓦效能指標提供更透明的資訊，以及在公開市場上租用 MI355X 硬體的可取得性。