OpenAI Jalapeño: 與 Broadcom 共同開發的客製化推論晶片

OpenAI 公佈 Jalapeño 推論處理器

OpenAI 推出了其首款客製化推論處理器，命名為 Jalapeño，是與 Broadcom 合作開發的。該晶片專門為優化 AI 工作負載的推論階段（即執行預建模型以生成回應的過程）而設計，而非預訓練階段，後者可能會繼續依賴 Nvidia GPU。

早期測試顯示，Jalapeño 提供比目前最先進的替代方案顯著更好的每瓦性能。根據 Broadcom CEO Hock Tan 的說法，與典型的 AI GPU 相比，該加速器展現了約 50% 的成本節省。

朝向全棧基礎設施的戰略轉型

OpenAI 正轉向垂直整合策略，以減少對 Nvidia 等第三方硬體供應商的依賴。透過設計自己的矽晶片，OpenAI 旨在優化其技術棧的每一層，使模型更快、更可靠且更實惠。

該公司的基礎設施策略現在涵蓋：

• 晶片架構：為特定的未充分滿足的工作負載量身定制的客製化矽晶片。
• 軟體層：內核 (kernels)、記憶體系統和調度 (scheduling) 的開發。
• 部署：管理網路和部署系統，以改善整體產品體驗。

OpenAI 總裁 Greg Brockman 表示，公司對自身工作負載的深入理解，使他們能夠識別出特定領域，在這些領域中，客製化硬體可以加速目前通用硬體無法充分滿足的能力。

開發與製造流程

Jalapeño 從設計到生產僅用了九個月。OpenAI 表示，其自身的 AI 模型被用於協助晶片的設計與優化過程。雖然 OpenAI 和 Broadcom 負責設計，但晶片是由 TSMC 製造的。

技術分析與產業觀點

產業觀察家和技術社群成員針對此舉的影響提出了幾點看法：

「廉價 Token」經濟學

降低推論成本對於 AI 的長期經濟效益至關重要。隨著開源權重模型變得更具競爭力，AI 供應商的主要差異化因素將是公司為消費者和企業提供最低每 Token 成本的能力。

硬體過時風險

一些批評者認為，AI 架構突破的快速步伐——例如量化 (quantization) 和卸載 (offloading)——可能會在公司實現顯著的投資報酬率 (ROI) 之前，就使客製化硬體過時。人們擔心 LLM 的架構躍進可能會讓目前的高端數據中心硬體在一夜之間變得過時。

營運挑戰

雖然設計晶片是一個重要的里程碑，，但大規模部署它會帶來不同的挑戰。與 Google (擁有 TPUs) 和 Amazon (擁有 Trainium) 等超大規模雲端服務商不同，OpenAI 必須管理封裝、散熱、供電以及在大型數據中心管理大量客製化矽晶片的複雜性。

與其他 AI 加速器之比較

OpenAI 的舉動反映了 Google 和 Amazon 先前採用的策略。一些觀察家指出，Google 的 TPU (Tensor Processing Unit) 譜系（目前已進入第七代）為在 AI 基礎設施中保持競爭優勢而開發客製化矽晶片的必要性提供了先例。