모두가 SIMD를 알아야 한다

SIMD가 무엇이며 왜 도움이 되는가

SIMD는 CPU가 한 번에 여러 데이터 요소에 대해 하나의 명령을 실행하도록 하여 바이트 단위 루프를 청크 단위 루프로 전환하고 벡터 폭에 맞는 선형 속도 향상(예: ARM NEON에서는 4배, AVX2에서는 8배, AVX‑512에서는 16배)을 제공합니다. 이는 수백, 수천, 수백만 개의 값을 정기적으로 처리할 때 가치가 있습니다.

일반적인 5단계 형태

대부분의 "한 번에 N값을 처리"하는 SIMD 코드는 다섯 단계로 구성됩니다: 필요한 상수를 벡터에 브로드캐스트하고, 입력을 벡터 폭 크기의 청크 단위로 순회하며, 레인별로 연산을 수행하고, 벡터 결과를 스칼라 결정 또는 마스크로 축소하며, 남은 요소나 SIMD를 지원하지 않는 CPU를 처리하기 위해 스칼라 테일을 마무리합니다.

실제 예시: Ghostty 제어 문자 스캔

Ghostty에서는 디코딩된 코드포인트를 스캔하여 첫 번째 값이 ≤ 0xF인 경우를 찾는 루프를 Zig로 작성했으며, 이 루프는 5단계 패턴을 사용합니다. 코드는 0xF를 브로드캐스트하고, u32 벡터를 로드하고, 비교하고, @reduce로 모든 값이 큰지 확인하고, @bitCast와 @ctz를 사용해 첫 번째 실패 레인을 찾은 뒤 원래 스칼라 루프로 되돌아갑니다. 이 방법은 ARM NEON에서 최대 4배, AVX2에서 8배, AVX‑512에서 16배, 그리고 AVX2 Intel 데스크톱에서는 실제 세계에서 약 5배의 속도 향상을 제공합니다.

단계 1: 상수 브로드캐스트

결론: 벡터 타입을 만들고 비교 값을 모든 레인에 복제(splat)하여 CPU가 한 번에 많은 값을 비교할 수 있게 합니다. Zig 스니펫은 const threshold: V = @splat(0xF);와 같이 0xF를 벡터의 모든 레인에 복제합니다.

단계 2: 한 번에 하나의 벡터 로드

결론: 입력을 벡터 폭과 같은 크기의 청크로 순회하면서 매 반복마다 전체 벡터를 로드합니다. 루프 조건 while (end + lanes <= cps.len) : (end += lanes)은 완전한 벡터만 처리하도록 보장하며, 매번 lanes 요소를 로드합니다.

단계 3: SIMD 연산 수행

결론: 연산(예: >)을 전체 벡터에 적용하면 CPU가 모든 레인에서 병렬로 실행합니다. 표현식 values > threshold는 레인당 하나씩 불리언 벡터를 생성하며, 이는 단일 CPU 명령으로 수행됩니다.

단계 4: 벡터 결과 축소

결론: 레인별 결과를 (예: @reduce 사용) 결합해 계속 진행 여부를 결정하거나 비트 트릭을 이용해 첫 번째 불일치를 찾습니다. @reduce(.And, greater_than_threshold)는 모든 레인이 통과했는지 알려줍니다. 그렇지 않다면 @bitCast가 불리언 벡터를 비트 마스크로 변환하고, ~mask가 이를 반전시키며, @ctz가 뒤쪽 연속 0을 세어 첫 번째 실패 레인의 인덱스를 찾습니다.

단계 5: 스칼라 테일 마무리

결론: 벡터 루프가 끝난 뒤 남은 요소에 대해 원래 스칼라 루프를 실행하거나 SIMD를 지원하지 않는 CPU에서 동작합니다. 최종 while (end < cps.len and cps[end] > 0xF) end += 1;는 남은 부분을 처리하고, simd.lanes(u32)가 null을 반환할 때의 대체 경로 역할도 합니다.

컴파일러가 항상 이를 수행하지 못하는 이유

결론: 컴파일러가 단순 루프를 자동 벡터화할 수는 있지만, 기회를 놓치거나 예측 불가능한 경우가 많아 명시적인 SIMD가 신뢰할 수 있고 예측 가능한 속도 향상을 제공합니다. 자동 벡터화는 복잡한 제어 흐름이 없는 일반 산술 루프에 잘 작동하지만, 실제 프로덕션 컴파일러는 벡터화 기회를 자주 놓칩니다. 5배 이상의 이득이 필요한 루프라면, 벡터화를 명시적으로 작성해 두어 코드 수정이나 컴파일러 업데이트에 의해 조용히 바뀌는 것을 방지하고 싶습니다.