每個人都應該了解 SIMD

什麼是 SIMD 以及它為何有效

SIMD 讓 CPU 可以同時對多個數據元素執行單一指令，將逐位元組（byte-wise）的迴圈轉變為逐區塊（chunk-wise）的迴圈，並提供與向量寬度相匹配的線性加速（例如：ARM NEON 為 4×，AVX2 為 8×，AVX-512 為 16×）。當你經常處理數百、數千或數百萬個數值時，這非常值得投入。

常見的五步驟模式

大多數「一次處理 N 個值」的 SIMD 程式碼都遵循五個步驟：將任何需要的常數廣播（broadcast）到向量中、每次以一個向量寬度的區塊進行輸入迴圈、執行逐通道（lane-wise）操作、將向量結果還原（reduce）為標量決策或遮罩（mask），最後以處理剩餘部分或不支援的 CPU 的標量尾部（scalar tail）結束。

實際範例：Ghostty 控制字元掃描

在 Ghostty 中，一個用於掃描解碼後的碼位（codepoints）以尋找第一個值 ≤ 0xF 的迴圈，是使用 Zig 語言並採用這五步驟模式編寫的。該程式碼廣播 0xF，載入 u32 向量，對其進行比較，使用 @reduce 進行還原以查看是否全部大於該值，使用 @bitCast 和 @ctz 尋找第一個失敗的通道，然後回退到原始的標量迴圈。這在 ARM NEON 上可實現高達 4× 的吞吐量，AVX2 為 8×，AVX-512 為 16×，而在 AVX2 Intel 桌機上的實際加速約為 5×。

步驟 1：廣播常數

結論：你創建一個向量類型，並將比較值填充（splat）到每個通道中，以便 CPU 可以同時比較多個值。 Zig 程式碼片段顯示了 const threshold: V = @splat(0xF);，這會將 0xF 複製到向量的所有通道中。

步驟 2：一次載入一個向量

結論：以等於向量寬度的區塊來遍歷輸入，每次迭代載入一個完整的向量。迴圈條件 while (end + lanes <= cps.len) : (end += lanes) 確保僅處理完整的向量，每次載入 lanes 個元素。

步驟 3：執行 SIMD 操作

結論：將操作（例如 >）應用於整個向量；CPU 會在所有通道中並行執行它。表達式 values > threshold 透過單一 CPU 指令產生一個布林值向量，每個通道一個。

步驟 4：還原向量結果

結論：結合每個通道的結果（例如使用 @reduce）來決定是否繼續，或使用位元技巧定位第一個不匹配項。 @reduce(.And, greater_than_threshold) 用於判斷是否每個通道都通過；如果不是，@bitCast 會將布林向量轉換為位元遮罩，~mask 將其反轉，而 @ctz 則計算尾隨零的數量以找到第一個失敗通道的索引。

步驟 5：以標量尾部結束

結論：在向量迴圈之後，對剩餘元素或不支援 SIMD 的 CPU 執行原始的標量迴圈。最後的 while (end < cps.len and cps[end] > 0xF) end += 1; 處理任何剩餘部分，並在 simd.lanes(u32) 返回 null 時作為回退方案。

為什麼編譯器不一定能做到這一點

結論：雖然編譯器可以對簡單迴圈進行自動向量化（auto-vectorize），但它們經常錯失機會且不可預測，因此顯式（explicit）的 SIMD 能提供可靠且可預測的加速。自動向量化適用於沒有複雜控制流的常規算術迴圈，但生產環境的編譯器經常錯失向量化的機會。當一個迴圈的重要性足以帶來 5× 的增益時，你會希望向量化是顯式的，而不是受到無關程式碼編輯或編譯器更新所導致的隱形變化影響。