OpenAI Jalapeño 推論晶片首波結果

OpenAI 已公布其首款自研推論晶片 Jalapeño 的首波效能結果。該硬體旨在消除吞吐量與延遲之間的傳統權衡，為大規模 AI 模型與互動式代理（agents）提供更快的響應速度與更高的能源效率。

效能基準測試與效率

Jalapeño 在各種模型架構中展現了業界領先的效率與速度，包括 GPT-OSS 120B、DeepSeek R1 與 Kimi K2.5 1T。根據 SemiAnalysis 的 InferenceX 公開基準測試，OpenAI 表示 Jalapeño 在每瓦效能與延遲方面始終處於 Pareto 前沿（Pareto frontier）。

關鍵效能提升包括：

• 能源效率： 與對照系統相比，Jalapeño 在峰值吞吐量下的每瓦 AI 工作量提升了 1.5 至 1.9 倍。
• 延遲降低： 端到端延遲比現有系統低 1.7 至 3.6 倍。
• 互動式工作負載： 對於高度互動的使用案例，該晶片提供的效能提升了 2.1 至 4.1 倍。

具體模型結果顯示，在測試規模最大的公開模型 Kimi K2.5 1T 上，Jalapeño 實現了約 1.5 倍更高的每瓦峰值效能，以及 3.4 倍更低的端到端延遲。該晶片的額定功率為 700 瓦，但在測試期間測得的持續功率維持在 550 瓦或以下。

全棧式架構設計

Jalapeño 被建構為一個全棧式解決方案，晶片、記憶體、網路與軟體皆經過協同設計，以最大限度地減少數據移動與通訊延遲。這種方法解決了語言模型推論的特定瓶頸：

• Prefill Phase（預填充階段）： 針對計算密集型的提示詞處理進行了優化。
• Decode Phase（解碼階段）： 針對受限於記憶體頻寬的 Token 生成進行了優化。

透過將模型狀態與 KV cache 放置於本地，系統減少了處理單元在等待數據時的閒置時間。整合式網路允許整個工作負載保持在單一連接系統內，打造出一個平衡的加速器，能夠適應代理型工作負載（agentic workloads）不斷變化的需求。

AI 驅動的硬體開發

OpenAI 利用其自身的 AI 模型來加速 Jalapeño 晶片的設計與編程，將從初步設計到完成佈局（tapeout）的時間縮短至九個月。AI 被用於優化算術電路並縮短驗證迴圈。

此外，該晶片被設計為一個可預測的 AI 編程目標。透過使用 Codex 搭配 GPT-Astra，OpenAI 工程師在兩個月內便將三款開源權重模型帶到了高效能表現。在針對 GPT-OSS attention 與 mixture-of-experts 模組的特定測試中，AI 生成的實作方式比人類專家編寫的程式碼執行速度快 1.5 至 1.8 倍。

部署路線圖

OpenAI 計畫在今年年底前開始在其運算基礎設施中部署 Jalapeño。這款晶片代表了多代平台中的第一代，第二代（Gen 2）已在開發中，而第三代（Gen 3）目前正在成形中。

在部署自研矽晶片的同時，OpenAI 表示將繼續使用 NVIDIA 與其他合作夥伴的加速器，來滿足訓練與推論工作負載日益增增長的的需求。