OpenAI Jalapeño 推論チップ：アーキテクチャと性能分析

OpenAI は、大規模言語モデル（LLM）の推論に特化して完全に独自に設計された「Jalapeño」というカスタム推論チップを発表しました。Broadcom と共同開発されたこのチップは、非常に急激な開発サイクルを経ており、2024年半ばから開始して約16か月でチームの設立から製造用テープアウトまでを実現しました。

パフォーマンスベンチマークと効率性

Jalapeño は、パフォーマンス/ワット（perf/W）において業界をリードする性能を示しており、Nvidia Blackwell や最新の Vera Rubin アーキテクチャをいくつかのシナリオで上回っています。InferenceX ツールキットを用いたベンチマークによると、Jalapeño はマルチトークン予測（MTP）や推測的デコードを必要とせずに、低遅延および高スループットの両方のシナリオで優れた性能を発揮しています。

主要なパフォーマンス指標

インタラクティブ性： DeepSeek R1 モデルにおいて、並行度1の状態でユーザー1人あたり700トークン/秒以上を達成。
スループット： GPT-OSS などのモデルでは、ユーザー1人あたり約1,400トークン/秒を達成。
エネルギー効率： Jalapeño の1メガワットあたりの出力トークンスループットは、Vera Rubin の MTP 結果を上回り、GB200 の2025年予測結果を大幅に上回っています。
TCO： パフォーマンス/TCO の観点から見ると、Jalapeño は現在 Vera Rubin と拮抗していますが、Jalapeño の結果は推測的デコードを用いていないため、将来的に実装されればコストをさらに3〜5倍削減できる可能性があります。

ハードウェアアーキテクチャ

Jalapeño は、特定の1つのモデルに特化したチップではなく、一般化された推論チップです。HBM帯域幅を最大化し、重みやKVキャッシュのメモリ移動を最小限に抑えるように設計されています。

技術仕様

製造プロセス： B0ステッピングは TSMC の N3P ノードで製造されています。
TDP： チップの熱設計電力（TDP）は700Wであり、Rubin の900〜1,150Wよりも低いです。
メモリ： HBM4 を使用し、パッケージあたり15.4 TB/sのメモリ帯域幅を提供しており、HBM3E を使用するアクセラレータを上回っています。
計算性能： B0ステッピングは、単一のリテクルサイズの計算ダイで13.4 PFLOPsのMXFP4を提供します。
I/O： N3E I/Oチップレットは32ラインの800G SerDesを提供し、24ラインはローカルスケールアップ、8ラインはグローバルスケールアップに使用されます。

アーキテクチャの革新

統合メモリプール： 一部の競合と異なり、OpenAI はプリフィルとデコード（PD）を別々のチッププールに分離しませんでした。この均一なプールにより、ワークロードの混合（入出力比）が時間とともに変化しても、システムの柔軟性を維持できます。
順序外（OoO）コア： Jalapeño は、ソフトウェア管理のスクラッチパッドではなく、L1キャッシュを備えたOoOコアを使用しています。これにより、バリア遅延などの固定オーバーヘッドが削減され、理論的なハードウェアルーフラインに近づくことができます。
マトリクスエンジン： マトリクスエンジンは MXFP 数値形式と、重み固定型のシステリックアレイを採用しており、より小さな形状や次元をサポートすることで、大規模なシステリックアレイで一般的に見られるパフォーマンスの急降下を回避しています。

ソフトウェアスタックとカーネル開発

OpenAI は、従来の汎用コンパイラを回避し、高性能で低レベルのプログラミングアプローチを採用しています。

Gluon と Linear Layouts

OpenAI は Triton の上に構築されたカーネルプログラミング言語 Gluon を使用しています。Gluon は低レベルの抽象化を提供し、「Linear Layouts」と呼ばれる、ハードウェアリソースとテンソル要素のマッピングを数学的に形式化した仕組みを導入しています。これにより、証明可能な正しいレイアウト変換と最適なメモリスイッチングが可能になります。

AI支援によるカーネル生成

OpenAI は内部版の Codex を使用して、手動で最適化されたカーネル（一部は3,000行に達する）をアセンブリで記述しています。このAI駆動のアプローチにより、DeepSeek 用の MLA カーネルなど複雑なカーネルを、人間の介入なしに迅速に実装できました。

システムレベルの統合

Jalapeño は、ホストラック（「Katsu」）とASICラック（「Vindaloo」）からなる2ラックシステムに展開されています。

スケールアップネットワーク： ラックあたり128個のASICをローカルドメインでサポートし、最大16ラックで2,048個のASICをグローバルドメインで接続可能。
インターコネクト： ローカルスケールアップには、パッシブ銅ケーブルを介した102.4TのTomahawk 6スイッチASICを使用。グローバルスケールアップには、銅バックプレーンと光回路スイッチ（OCS）のハイブリッド構成に1.6Tトランシーバーを採用。
電力： 2ラックシステム全体で約160kWの電力を消費。

コミュニティと批判的視点

報告されたベンチマークは印象的ですが、業界の観察者や技術的なコメントではいくつかの懸念が指摘されています：

"誰のシリコンも、実際のプロダクションワークロードを実行するまで、他の誰かのベンチマークを上回る。本当の試験は、自分の推論トラフィックを6か月間運用することであり、ベンダーのチャートではない。"

批判者は、結果がエンジニアリングサンプル（A0ステッピング）と8k1kワークロードに基づいている点に注目しています。これは、プロダクションのエージェントワークフローで見られるマルチターンや長文脈のワークロードよりもチューニングが簡単です。また、比較の妥当性についても懸念があり、Jalapeño のパフォーマンス/ワットが、異なる精度レベルやTDP制限で動作しているチップと比較されている可能性があると指摘されています。