OpenAI 與 Broadcom 發表 Jalapeño LLM 推論晶片

OpenAI 與 Broadcom 已發表 Jalapeño，這是首款專為 LLM 推論設計的「智慧處理器」（Intelligence Processor）。這款客製化加速器旨在透過優化硬體層以符合前沿大型語言模型（LLMs）的特定需求，使先進 AI 變得更快、更可靠且更實惠。

針對 LLM 推論的高效率架構

Jalapeño 是一個全新的設計，專注於 LLM 推論，而非從之前的 AI 工作負載改編而成的通用加速器。該架構圍繞著對前沿 AI 模型至關重要的核心（kernels）、記憶體移動、網路和服務模式進行了優化。

關鍵技術目標與成果包括：

• 每瓦性能： 初步測試顯示，第一代加速器的每瓦性能顯著優於目前的尖端硬體。
• 硬體利用率： 該設計減少了數據移動，並平衡了運算、記憶體和網路資源，以實現接近硬體理論峰值性能的實際利用率。
• 全棧整合： 該晶片旨在與所有 LLMs 協作，並參考了 OpenAI 內部的模型、核心、服務系統和產品需求藍圖。

工程樣品目前正在實驗室中以目標生產頻率和功耗運行 ML 工作負載，其中包括 GPT-5.3-Codex-Spark 模型。

加速的開發週期

Jalapeño 從初步設計到製造定案（tape-out）僅花了九個月。OpenAI 將其描述為高性能先進半導體領域中可能實現的最快 ASIC 開發週期。這一快速進程是透過以下方式實現的：

• 軟硬體協同開發： OpenAI 工程團隊與 Broadcom 的矽實作專業知識之間的密切合作。
• AI 驅動設計： 使用 OpenAI 自身的模型來加速設計和優化過程的部分環節。
• 工業化合作夥伴： Broadcom 提供矽實作和網路技術（包括 Tomahawk 網路矽晶片），而 Celestica 提供板卡、機架和系統整合專業知識。

戰略意義與部署

Jalapeño 是多代運算平台的首次迭代。其戰略是構建一個涵蓋晶片架構、核心、記憶體系統、網路和調度的全棧基礎設施，以增加運算能力的豐沛度。

部署時間表

• 初步部署： 預計於 2026 年底進行。
• 規模： 該平台旨在與 Microsoft 及其他合作夥伴合作，部署於「吉瓦級」（gigawatt scale）數據中心。

對終端用戶體驗的影響

透過提高運算效率並降低成本，OpenAI 希望這些硬體改進能直接轉化為面向用戶的益處：ChatGPT 更快的響應時間、Codex 執行更複雜的任務，以及為開發者和企業提供更實惠的 API 產品。