OpenAI Jalapeño 추론 칩 첫 결과

OpenAI는 첫 번째 맞춤형 추론 칩인 Jalapeño의 첫 성능 결과를 공개했습니다. 이 하드웨어는 처리량과 지연 시간 사이의 전통적인 트레이드오프를 제거하도록 설계되어, 대규모 AI 모델과 대화형 에이전트를 위해 더 빠른 응답과 더 높은 전력 효율성을 가능하게 합니다.

성능 벤치마크 및 효율성

Jalapeño는 GPT-OSS 120B, DeepSeek R1, Kimi K2.5 1T를 포함한 다양한 모델 아키텍처에서 업계 선도적인 효율성과 속도를 보여줍니다. SemiAnalysis의 InferenceX 공개 벤치마크를 사용하여, OpenAI는 Jalapeño가 전력 대비 성능 및 지연 시간 측면에서 일관되게 파레토 프런티어(Pareto frontier)에 위치한다고 보고했습니다.

주요 성능 향상은 다음과 같습니다:

• 전력 효율성: Jalapeño는 비교 시스템에 비해 피크 처리량에서 와트당 1.5배에서 1.9배 더 많은 AI 작업을 수행합니다.
• 지연 시간 감소: 엔드 투 엔드(end-to-end) 지연 시간은 기존 시스템보다 1.7배에서 3.6배 더 낮습니다.
• 대화형 워크로드: 매우 대화형인 사용 사례의 경우, 이 칩은 2.1배에서 4.1배 더 높은 성능을을 제공합니다.

특정 모델 결과에 따르면, 테스트된 가장 큰 공개 모델인 Kimi K2.5 1T에서 Jalapeño는 약 1.5배 더 높은 와트당 피크 성능과 3.4배 더 낮은 엔드 투 엔드 지연 시간을 달성했습니다. 이 칩은 700와트로 정격화되어 있지만, 테스트 중 측정된 지속 전력은 550와트 이하로 유지되었습니다.

풀스택 아키텍처 설계

Jalapeño는 칩, 메모리, 네트워킹, 소프트웨어가 데이터 이동 및 통신 지연을 최소화하도록 공동 설계된 풀스택 솔루션으로 구축되었습니다. 이 접근 방식은 언어 모델 추론의 특정 병목 현상을 해결합니다:

• Prefill Phase: 연산 집약적인 프롬프트 처리에 최적화되었습니다.
• Decode Phase: 메모리 대역폭 제한이 있는 토큰 생성에 최적화되었습니다.

모델 상태와 KV 캐시를 로컬에 명시적으로 배치함으로써, 시스템은 데이터 대기 중 처리 장치가 유휴 상태로 머무는 시간을 줄입니다. 통합된 네트워크는 전체 워크로드가 하나의 연결된 시스템 내에 머물 수 있도록 하여, 에이전트형 워크로드의 변화하는 요구 사항에 적응할 수 있는 균형 잡힌 가속기를 생성합니다.

AI 기반 하드웨어 개발

OpenAI는 Jalapeño 칩의 설계 및 프로그래밍을 가속화하기 위해 자체 AI 모델을 활용하여, 초기 설계부터 테이프아웃(tapeout)까지의 기간을 9개월로 단축했습니다. AI는 산술 회로를 최적화하고 검증 루프를 단축하는 데 사용되었습니다.

또한, 이 칩은 AI를 위한 예측 가능한 프로그래밍 대상이 되도록 설계되었습니다. GPT-Astra와 함께 Codex를 사용하여, OpenAI 엔지니어들은 두 달 만에 세 개의 오픈 웨이트 모델을 높은 성능으로 구현했습니다. GPT-OSS attention 및 mixture-of-experts 블록에 대한 특정 테스트에서, AI가 생성한 구현체는 인간 전문가가 작성한 것보다 1.5배에서 1.8배 더 빠르게 작동했습니다.

배포 로드맵

OpenAI는 올해 말까지 자사의 컴퓨팅 인프라에 Jalapeño를 배포하기 시작할 계획입니다. 이 칩은 다세대 플랫폼의 첫 번째 세대를 나타내며, Gen 2는 이미 개발 중이고 Gen 3는 현재 형태를 갖추어 가고 있습니다.

자체 실리콘을 배포하면서도, OpenAI는 증가하는 수요를 충족하기 위해 훈련 및 추론 워크로드 모두에 NVIDIA와 기타 파트너의 가속기를 계속 사용할 것이라고 밝혔습니다.