OpenAI Jalapeño: Broadcom과 함께 개발한 맞춤형 추론 칩

OpenAI, Jalapeño 추론 프로세서 공개

OpenAI는 Broadcom과 협력하여 개발한 첫 번째 맞춤형 추론 프로세서인 Jalapeño를 선보였습니다. 이 칩은 Nvidia GPU에 계속 의존할 가능성이 높은 사전 학습(pre-training) 단계보다는, 이미 구축된 모델을 실행하여 응답을 생성하는 과정인 AI 워크로드의 추론(inference) 단계를 최적화하기 위해 특별히 설계되었습니다.

초기 테스트 결과에 따르면, Jalapeño는 현재의 최첨단 대안들보다 전력 대비 성능(performance-per-watt)이 훨씬 뛰어난 것으로 나타났습니다. Broadcom의 CEO Hock Tan에 따르면, 이 가속기는 일반적인 AI GPU와 비교했을 때 약 50%의 비용 절감 효과를 보여주고 있습니다.

풀스택 인프라를 향한 전략적 전환

OpenAI는 Nvidia와 같은 제3자 하드웨어 제공업체에 대한 의존도를 낮추기 위해 수직 계열화 전략으로 이동하고 있습니다. 자체 실리콘을 설계함으로써, OpenAI는 기술 스택의 모든 계층을 최적화하여 모델을 더 빠르고, 더 신뢰할 수 있으며, 더 저렴하게 만드는 것을 목표로 합니다.

회사의 인프라 전략은 이제 다음을 포함합니다:

  • Chip Architecture: 특정 미충족 워크로드에 맞춤화된 맞춤형 실리콘.
  • Software Layers: 커널, 메모리 시스템 및 스케줄링 개발.
  • Deployment: 전반적인 제품 경험을 개선하기 위한 네트워킹 및 배포 시스템 관리.

OpenAI의 사장 Greg Brockman은 회사의 자체 워크로드에 대한 깊은 이해 덕분에 범용 하드웨어로는 현재 충분히 지원되지 않는 기능을 가속화할 수 있는 특정 분야를 식별할 수 있었다고 밝혔습니다.

개발 및 제조 프로세스

Jalapeño는 설계부터 생산까지 9개월 만에 개발되었습니다. OpenAI는 칩의 설계 및 최적화 프로세스를 돕기 위해 자체 AI 모델을 사용했다고 보고했습니다. OpenAI와 Broadcom이 설계를 담당했지만, 칩은 TSMC에서 제조됩니다.

기술적 분석 및 업계 전망

업계 관찰자들과 기술 커뮤니티 구성원들은 이번 움직임의 영향에 대해 몇 가지 사항을 제기했습니다:

Sources