OpenAI 재파뇨 추론 칩: 아키텍처 및 성능 분석

OpenAI는 대규모 언어 모델(LLM) 추론을 위해 완전히 새로 설계된 커스텀 추론 칩 '재파뇨(Jalapeño)'을 발표했다. Broadcom와의 협력으로 개발된 이 칩은 매우 공격적인 개발 주기를 보였으며, 2024년 중반부터 시작해 약 16개월 만에 초기 팀 구성부터 제조 타이포( tape-out)에 이르렀다.

성능 벤치마크 및 효율성

재파뇨는 성능 대 전력 소비 비율(perf/W)에서 업계 최고 수준을 보이며, Nvidia Blackwell과 새로운 Vera Rubin 아키텍처를 여러 시나리오에서 뛰어넘었다. InferenceX 벤치마크 툴을 사용한 결과, 재파뇨는 다중 토큰 예측(MTP)이나 사전 추론(speculative decoding) 없이도 저지연과 고처리량 시나리오 모두에서 뛰어난 성능을 발휘했다.

주요 성능 지표

상호작용성: DeepSeek R1 모델 기준, 동시성(concurrency) 1에서 사용자당 초당 700토큰 이상을 달성했다.
처리량: GPT-OSS와 같은 모델에서는 사용자당 초당 약 1,400토큰을 달성했다.
에너지 효율성: 재파뇨의 메가와트(MW)당 출력 토큰 처리량은 Vera Rubin의 MTP 결과를 초과하며, GB200의 2025년 예측 결과보다도 크게 앞서간다.
TCO: 성능 대 TCO 기준으로 재파뇨는 현재 Vera Rubin과 맞먹는 성능을 보였으나, 재파뇨의 결과는 사전 추론을 사용하지 않은 상태에서 나온 것으로, 향후 사전 추론이 구현되면 비용을 추가로 3~5배 줄일 수 있을 전망이다.

하드웨어 아키텍처

재파뇨는 특정 모델에 특화된 칩이 아니라 일반화된 추론 칩이다. HBM 대역폭을 극대화하고 가중치 및 KV 캐시의 메모리 이동을 최소화하도록 설계되었다.

기술 사양

제조 공정: B0 스텝은 TSMC의 N3P 공정으로 제조된다.
TDP: 열 설계 전력(TDP)은 700W로, Rubin의 900~1,150W보다 낮다.
메모리: HBM4를 사용하여 패키지당 15.4TB/s의 메모리 대역폭을 제공하며, HBM3E를 사용하는 가속기보다 뛰어나다.
계산 성능: B0 스텝은 단일 리티클 크기의 계산 다이에서 MXFP4 기준 13.4PFLOPs의 성능을 제공한다.
I/O: N3E I/O 칩렛은 32개의 800G SerDes 레인을 제공하며, 24개는 로컬 스케일업용, 8개는 글로벌 스케일업용으로 사용된다.

아키텍처 혁신

통합 메모리 풀: 일부 경쟁사와 달리, OpenAI는 프리필(pre-fill)과 디코딩을 별도의 칩 풀로 분리하지 않았다. 이 동질적 메모리 풀은 워크로드 혼합(입력/출력 비율)이 시간이 지남에 따라 변화하더라도 시스템이 유연하게 대응할 수 있도록 한다.
순서 없는(OoO) 코어: 재파뇨는 소프트웨어 관리 스크래치패드 대신 L1 캐시를 갖춘 순서 없는(OoO) 코어를 사용한다. 이는 장벽 지연 같은 고정 오버헤드를 줄여 이론적인 하드웨어 성능 한계에 더 가까이 접근할 수 있도록 한다.
행렬 엔진: 행렬 엔진은 MXFP 수치 형식을 사용하며, 가중치 정지(weight-stationary) 형태의 시스톨릭 어레이를 채택해 더 작은 형태와 차원을 지원함으로써 대규모 시스톨릭 어레이에서 흔히 발생하는 성능 저하를 피한다.

소프트웨어 스택 및 커널 개발

OpenAI는 전통적인 통합 컴파일러를 회피하고 고성능, 저수준 프로그래밍 접근법을 선택했다.

Gluon과 선형 레이아웃

OpenAI는 Triton 위에서 구축된 커널 프로그래밍 언어인 Gluon을 사용한다. Gluon은 저수준 추상화를 노출하고, 하드웨어 자원과 텐서 요소 간의 매핑을 수학적으로 정의한 '선형 레이아웃(Linear Layouts)'을 도입한다. 이를 통해 증명 가능한 정확한 레이아웃 변환과 최적의 메모리 스위즐링(memory swizzling)이 가능하다.

AI 기반 커널 생성

OpenAI는 내부 버전의 Codex를 사용해 수작업으로 최적화된 커널(일부는 3,000줄에 이르는 어셈블리 코드)을 작성한다. 이 AI 기반 접근법은 DeepSeek용 MLA 커널과 같은 복잡한 커널을 인간의 개입 없이 빠르게 구현할 수 있게 했다.

시스템 수준 통합

재파뇨는 호스트 랙('Katsu')과 ASIC 랙('Vindaloo')으로 구성된 두 랙 시스템에 배포된다.

스케일업 네트워크: 각 랙당 최대 128개의 ASIC을 지원하는 로컬 도메인과 최대 16개 랙을 연결하는 글로벌 도메인을 지원한다.
인터커넥트: 로컬 스케일업은 패시브 구리 케이블을 통해 102.4T Tomahawk 6 스위치 ASIC을 사용한다. 글로벌 스케일업은 구리 백플레인과 광 회로 스위치(OCS)의 하이브리드 구조를 사용하며, 1.6T 트랜시버를 탑재한다.
전력 소비: 두 랙 시스템의 총 전력 소비는 약 160kW이다.

커뮤니티 및 비판적 시각

보고된 벤치마크는 인상적이지만, 업계 관찰자들과 기술 전문가들은 몇 가지 주의점을 제기했다:

"모든 사람의 실리콘은 실제 생산 워크로드를 처리해야 할 때까지는 다른 사람의 벤치마크를 이긴다. 진정한 시험은 자신의 추론 트래픽을 6개월간 처리하는 것이다. 공급업체의 차트가 아니라 말이다."

비판자들은 결과가 엔지니어링 샘플(A0 스텝)과 8k1k 워크로드 기반이라는 점을 지적하며, 실제 에이전트 워크플로우에서 흔히 볼 수 있는 다턴, 긴 컨텍스트 워크로드보다 조정이 쉬운 작업에 기반했다고 지적했다. 또한, 재파뇨의 성능 대 전력 비율이 다른 정밀도 수준이나 TDP 제한에서 작동하는 칩들과 비교된 점에 대해 유효성에 대한 우려도 제기되었다.