OpenAI Jalapeño: Broadcomと共同開発したカスタム推論チップ

OpenAI、Jalapeño推論プロセッサを発表

OpenAIは、Broadcomとの協力により開発された、初のカスタムビルド推論プロセッサJalapeñoを発表しました。このチップは、Nvidia GPUに依存し続ける可能性が高い事前学習フェーズではなく、AIワークロードの推論フェーズ（構築済みモデルを実行してレスポンスを生成するプロセス）を最適化するために特別に設計されています。

初期テストでは、Jalapeñoは現在の最先端の代替品よりも大幅に優れたワットあたりのパフォーマンスを提供することが示されています。BroadcomのCEOであるHock Tanによれば、このアクセラレータは一般的なAI GPUと比較して約50%のコスト削減を実現しています。

フルスタック・インフラストラクチャへの戦略的転換

OpenAIは、Nvidiaのようなサードパーティのハードウェアプロバイダーへの依存を減らすため、垂直統合戦略へと移行しています。独自のシリコンを設計することで、OpenAIは技術スタックのあらゆるレイヤーを最適化し、モデルをより高速に、より信頼性が高く、より手頃な価格にすることを目指しています。

同社のインフラストラクチャ戦略は、現在以下の内容を含んでいます：

• Chip Architecture: 特定の未充足のワークロードに合わせたカスタムシリコン。
• Software Layers: カーネル、メモリシステム、およびスケジューリングの開発。
• Deployment: 製品体験全体を向上させるためのネットワーキングとデプロイメントシステムの管理。

OpenAIの社長であるGreg Brockmanは、自社のワークロードに対する深い理解により、汎用ハードウェアでは現在十分に満たされていない能力を加速させることができる特定の領域を特定できたと述べています。

開発および製造プロセス

Jalapeñoは、設計から生産まで9ヶ月で開発されました。OpenAIは、チップの設計と最適化プロセスを支援するために、自社のAIモデルが使用されたと報告しています。OpenAIとBroadcomが設計を担当し、チップはTSMCによって製造されます。

技術分析と業界の視点

業界のオブザーバーや技術コミュニティのメンバーは、この動きの含意についていくつかの点を指摘しています：

「安価なトークン」経済

推論コストの削減は、AIの長期的な経済性において極めて重要です。オープンウェイトモデルがより競争力を持つようになるにつれ、AIプロバイダーの主な差別化要因は、消費者や企業に対して最も低いトークンあたりのコストを提供できる能力になるでしょう。

ハードウェアの陳腐化リスク

一部の批評家は、量子化（quantization）やオフローディング（offloading）といったAIアーキテクチャの急速な進歩により、カスタムハードウェアが意味のある投資収益率（ROI）を達成する前に陳腐化してしまう可能性があると主張しています。LLMのアーキテクチャにおける飛躍的な進歩が、現在のハイエンド・データセンター・ハードウェアを一夜にして陳腐化させる可能性があるという懸念があります。

運用上の課題

チップの設計は大きな節目ですが、大規模な展開には別の課題が伴います。Google（TPUを使用）やAmazon（Trainiumを使用）のようなハイパースケーラーとは異なり、OpenAIは、パッケージング、冷却、電力供給、および大規模なデータセンターにおけるカスタムシリコンのフリート管理の複雑さを管理しなければなりません。

他のAIアクセラレータとの比較

OpenAIの動きは、以前にGoogleやAmazonが採用した戦略を反映しています。一部のオブザーバーは、第7世代に達しているGoogleのTPU（Tensor Processing Unit）の系譜が、AIインフラストラクチャにおける競争優位性を維持するためにカスタムシリコンが必要であるという前例となっていると指摘しています。