SIMDは誰でも知っておくべき

SIMDとは何か、そしてなぜ有用なのか

SIMD は CPU が 1 つの命令で複数のデータ要素を同時に処理できるようにし、バイト単位のループをチャンク単位のループに変換し、ベクトル幅に比例した線形速度向上（例: ARM NEON で 4 倍、AVX2 で 8 倍、AVX‑512 で 16 倍）を実現します。数百、数千、数百万の値を定期的に処理する場合に価値があります。

一般的な5ステップの形

「一度に N 個の値を処理する」 SIMD コードの多くは、次の5つのステップに従います: 必要な定数をベクトルにブロードキャストし、入力をベクトル幅のチャンクごとにループし、レーン単位で演算を行い、ベクトル結果をスカラーの判定やマスクに縮約し、残りや SIMD 未対応 CPU 用にスカラーのテイルで仕上げます。

実例: Ghostty の制御文字スキャン

Ghostty では、デコードされたコードポイントを走査して最初の ≤ 0xF の値を探すループが、Zig で5ステップパターンを用いて実装されています。コードは 0xF をブロードキャストし、u32 のベクトルをロードし、比較し、@reduce で全体が大きいかを判定し、@bitCast と @ctz で最初に失敗したレーンを見つけ、元のスカラーループにフォールバックします。これにより、ARM NEON で最大 4 倍、AVX2 で 8 倍、AVX‑512 で 16 倍、AVX2 Intel デスクトップでは実際のワークロードで約 5 倍の速度向上が得られます。

ステップ 1: 定数をブロードキャスト

結論: ベクトル型を作成し、比較対象の値をすべてのレーンにスプラット（複製）して、CPU が多数の値を同時に比較できるようにします。 Zig のスニペットは const threshold: V = @splat(0xF); と書かれており、0xF をベクトルのすべてのレーンに複製しています。

ステップ 2: 1 ベクトルずつロード

結論: 入力をベクトル幅と同じサイズのチャンクでループし、各イテレーションでフルベクトルをロードします。ループ条件 while (end + lanes <= cps.len) : (end += lanes) は、完全なベクトルだけが処理されることを保証し、毎回 lanes 要素をロードします。

ステップ 3: SIMD 演算を実行

結論: 演算（例: >）をベクトル全体に適用し、CPU がすべてのレーンで並列に実行します。式 values > threshold は、レーンごとに 1 つずつブール値のベクトルを生成し、1 命令で処理されます。

ステップ 4: ベクトル結果を縮約

結論: レーンごとの結果を（例: @reduce）で結合し、続行の可否を決めたり、ビットテクニックで最初の不一致を特定します。 @reduce(.And, greater_than_threshold) はすべてのレーンが合格したかを示し、合格しなければ @bitCast がブールベクトルをビットマスクに変換し、~mask で反転し、@ctz が末尾のゼロ数を数えて最初に失敗したレーンのインデックスを取得します。

ステップ 5: スカラーのテイルで仕上げ

結論: ベクトルループの後、残りの要素や SIMD 未対応 CPU 用に元のスカラーループを実行します。最終行 while (end < cps.len and cps[end] > 0xF) end += 1; は余りを処理し、simd.lanes(u32) が null を返したときのフォールバックにもなります。

コンパイラが常にできない理由

結論: コンパイラは単純なループを自動ベクトル化できても、機会を逃すことが多く予測不可能です。したがって、明示的な SIMD は信頼できる予測可能な速度向上をもたらします。自動ベクトル化は制御フローが単純な算術ループで有効ですが、実務のコンパイラはベクトル化のチャンスを頻繁に見逃します。5 倍の効果が期待できるループでは、ベクトル化を明示的に記述し、コード変更やコンパイラ更新によるサイレントな変化に左右されないようにしたいものです。