OpenAI Jalapeño 推論チップの初回結果

OpenAIは、初のカスタム推論チップであるJalapeñoの最初のパフォーマンス結果を発表しました。このハードウェアは、スループットとレイテンシの間の従来のトレードオフを解消するように設計されており、大規模なAIモデルやインタラクティブなエージェントに対して、より高速なレスポンスと高い電力効率を可能にします。

Performance Benchmarks and Efficiency

Jalapeñoは、GPT-OSS 120B、DeepSeek R1、およびKimi K2.5 1Tを含む、さまざまなモデルアーキテクチャにわたって業界をリードする効率性と速度を示しています。SemiAnalysisのInferenceX公開ベンチマークを使用すると、OpenAIは、Jalapeñoがワットあたりのパフォーマンスとレイテンシにおいて、一貫してパレートのフロンティア（Pareto frontier）に位置していると報告しています。

Key performance gains include:

• Power Efficiency: Jalapeñoは、ピークスループット時において、比較対象のシステムと比較して1.5倍から1.9倍多くのAIワークをワットあたりに提供します。

• Latency Reduction: エンドツーエンドのレイテンシは、既存のシステムよりも1.7倍から3.6倍低くなっています。

• Interactive Workloads: 高度にインタラクティブなユースケースでは、このチップは2.1倍から4.1倍高いパフォーマンスを提供します。

特定のモデル結果によると、テストされた最大の公開モデルであるKimi K2.5 1Tにおいて、Jalapeñoは約1.5倍高いワットあたりのピークパフォーマンスを達成し、エンドツーエンドのレイテンシを3.4倍低減させました。このチップの定格は700ワットですが、テスト中の実測の持続的な電力は550ワット以下に留まりました。

Full-Stack Architectural Design

Jalapeñoは、チップ、メモリ、ネットワーキング、およびソフトウェアが、データの移動と通信の遅延を最小限に抑えるために共同設計されたフルスタックソリューションとして構築されています。このアプローチは、言語モデル推論の特定のボトルネックに対処します：

• Prefill Phase: コンピューティング集約的なプロンプト処理に最適化されています。

• Decode Phase: メモリ帯域幅に制約されるトークン生成に最適化されています。

モデルの状態とKVキャッシュをローカルに明示的に配置することで、システムは、処理ユニットがデータの待機中にアイドル状態になる時間を短縮します。統合されたネットワークにより、ワークロード全体が単一の接続されたシステム内に留まることができ、エージェント的なワークロードの要件の変化に適応できるバランスの取れたアクセラレータを作成します。

AI-Driven Hardware Development

OpenAIは、独自のAIモデルを使用してJalapeñoチップの設計とプログラミングを加速させ、初期設計からテープアウトまでの期間をを9ヶ月に短縮しました。AIは、算術回路の最適化や検証ループの短縮に使用されました。

さらに、このチップは、AIにとって予測可能なプログラミングターゲットとなるように設計されました。CodexとGPT-Astraを使用し、OpenAIのエンジニアは3つのオープンウェイトモデルを2ヶ月以内に高いパフォーマンスへと導きました。GPT-OSSのattentionとmixture-of-expertsブロックにおける特定のテストにおいて、AIが生成した実装は、人間のエキスパートが書いたものよりも1.5倍から1.8倍高速に動作しました。

Deployment Roadmap

OpenAIは、年内に自社のコンピューティングインフラストラクチャにJalapeñoを配備展開を開始する計画です。このチップは、多世代プラットフォームの第一世代であり、Gen 2はすでに開発中であり、Gen 3は現在形作られています。

自社のシリコンを配備展開する一方で、OpenAIは、増大する需要を満たすために、トレーニングと推論の両方のワークロードに対して、NVIDIAおよびその他のパートナーからのアクセラレータを継続的に使用し続けると述べています。