OpenAI와 Broadcom이 Jalapeño LLM 추론 칩 공개

OpenAI와 Broadcom이 Jalapeño를 공개했습니다. 이는 LLM 추론을 위해 특별히 설계된 첫 번째 '지능형 프로세서'입니다. 이 맞춤형 가속기는 프론티어 Large Language Models(LLM)의 특정 요구 사항에 맞게 하드웨어 레이어를 최적화함으로써 고급 AI를 더 빠르고, 더 신뢰할 수 있으며, 더 저렴하게 만드는 것을 목표로 합니다.

LLM 추론을 위한 고효율 아키텍처

Jalapeño는 이전 AI 워크로드에서 적응된 범용 가속기가 아니라 LLM 추론에 초점을 맞춘 백슬레이트 설계입니다. 이 아키텍처는 프론티어 AI 모델에 중요한 커널, 메모리 이동, 네트워킹, 서빙 패턴 주변에서 최적화되었습니다.

주요 기술 목표 및 결과는 다음과 같습니다:

• 성능당 와트: 초기 테스트에 따르면 첫 번째 세대 가속기가 현재 최첨단 하드웨어보다 성능당 와트가 상당히 더 나은 수준임을 나타냅니다.
• 하드웨어 활용도: 설계는 데이터 이동을 줄이고 컴퓨팅, 메모리, 네트워킹 자원의 균형을 맞춰 실현된 활용도를 하드웨어의 이론적 피크 성능에 가깝게 달성합니다.
• 풀스택 통합: 이 칩은 모든 LLM과 작동하도록 설계되었으며, OpenAI의 내부 모델, 커널, 서빙 시스템, 제품 요구 사항 로드맵을 기반으로 합니다.

엔지니어링 샘플은 현재 생산 목표 주파수 및 전력에서 랩에서 ML 워크로드를 실행 중이며, GPT-5.3-Codex-Spark 모델도 포함됩니다.

가속된 개발 주기

Jalapeño는 초기 설계부터 제조 테이프아웃까지 단 9개월 만에 개발되었습니다. OpenAI는これを 고성능 첨단 반도체에서 달성된 가장 빠른 ASIC 개발 주기 중 하나일 수 있다고 설명합니다. 이 빠른 일정은 다음과 같은 요인으로 가능해졌습니다:

• 소프트웨어-하드웨어 공동 개발: OpenAI 엔지니어링 팀과 Broadcom의 실리콘 구현 전문 지식 간의 긴밀한 협력.
• AI 기반 설계: OpenAI의 자체 모델이 설계 및 최적화 프로세스의 일부를 가속하는 데 사용되었습니다. -n- 산업화 파트너: Broadcom이 실리콘 구현 및 네트워킹 기술(톰호크 네트워킹 실리콘 포함)을 제공했으며, Celestica가 보드, 랙, 시스템 통합 전문 지식을 제공했습니다.

전략적 의미 및 배포

Jalapeño는 다세대 컴퓨팅 플랫폼의 첫 번째 반복입니다. 전략은 칩 아키텍처, 커널, 메모리 시스템, 네트워킹, 스케줄링을 포괄하는 풀스택 인프라를 구축하여 컴퓨팅의 풍부함을 증가시키는 것입니다.

배포 타임라인

• 초기 배포: 2026년 말 예정.
• 규모: 이 플랫폼은 마이크로소프트 및 기타 파트너와의 협력 하에 "기가와트 규모" 데이터 센터에 배포될 예정입니다.

최종 사용자 경험에 미치는 영향

컴퓨팅 효율을 높이고 비용을 낮춤으로써 OpenAI는 이러한 하드웨어 개선이 ChatGPT에서의 더 빠른 응답 시간, Codex에서의 더 복잡한 작업 실행, 개발자와 기업을 위한 더 저렴한 API 제품과 같은 사용자 직면 혜택으로 직접 전환되기를 의도합니다.