OpenAI Jalapeño 芯片：LLM 如何將設計時間縮短至 20 個月

TL;DR – 發生了什麼以及為何重要

OpenAI 在不到 20 個月內設計出其首款 AI 加速器芯片 Jalapeño，透過將自身的大型語言模型（LLMs）嵌入前端設計流程，將 RTL（暫存器傳輸層）至 Tape-out 的時間縮短至九個月，並實現相比 Nvidia 的 GB300 3.6 倍的延遲降低。結果顯示，LLM 驅動的自動化能大幅縮短硬體開發週期，預示著更快、更便宜的 AI 芯片創新時代來臨。

1. 紀錄性的快速設計時程

關鍵重點： Jalapeño 從第一張架構草圖到首顆矽晶僅耗時不到 20 個月，RTL（暫存器傳輸層）至 Tape-out 僅歷時九個月。

  • 項目於 2026 年 8 月 25 日啟動，當時 OpenAI 公布了該芯片。
  • 架構概念 → 矽晶：< 20 個月。
  • RTL → Tape-out：9 個月。
  • 硬體團隊全程平均僅有 不到 100 名工程師，規模與典型 ASIC 團隊相當，遠小於傳統 AI 芯片計畫。

"這些模型為我們的工程師賦予了超能力。他們能探索更多路徑，並以更快的速度完成任務。" – Richard Ho，OpenAI 硬體副總裁。

2. 工作分工 – OpenAI 與 Broadcom

關鍵重點： OpenAI 負責系統層級架構、記憶體階層與推論加速器設計，而 Broadcom 執行物理實作。

  • OpenAI 的責任：端到端系統設計、加速器微架構、HBM4 堆疊整合與網路設計。
  • Broadcom 的責任：邏輯門級物理設計、版圖設計，以及交由晶圓代工廠。
  • 專家指出，Broadcom 的專業能力至關重要；若無能「從零開始」的夥伴，此時程將不切實際。

"如果你要別人從零開始，那是不可能的。" – David Chin，Verkor.io 共創者。

3. LLM 如何加速前端工作流程

關鍵重點： OpenAI 借助 LLM 進行高階合成、RTL 產生與快速軟體堆疊調校，將以程式碼為中心的任務轉化為 AI 協助的迭代過程。

  1. 使用 XLS 的高階合成 – 工程師撰寫 DSLX 或 C++，由 XLS 編譯為 Verilog。LLM 在類似軟體的程式碼上表現出色，因此這是一項自然的結合。
  2. LLM 驅動的 RTL 產生 – 專案後期，內部模型（GPT-6 Astra 的前身）可直接產出 Verilog，跳過 XLS 流程。
  3. 矽晶後的軟體優化 – 首顆矽晶於 2026 年 5 月抵達後，內部 AI 模型對基準測試核心進行調校。在 DeepSeek 的多頭潛在注意力核心上，效能從 0.31% 提升至 88.94% 的理論上限，僅耗時約 40 小時。
  4. 迭代式設計探索 – LLM 產生替代的微架構變體，讓工程師能在數小時內評估大量設計點，而非數週。

"AI 在類似軟體的任務上表現更佳。XLS 在某種程度上看起來像軟體，因此獲得了此優勢。" – Chris Leary，OpenAI 技術人員。

4. 後端設計 – AI 作用較小的領域

關鍵重點： 物理設計（佈線、時脈樹合成、電力分析）仍主要由人工主導，委由 Broadcom 負責，儘管 OpenAI 提供了版圖規劃指導。

  • OpenAI 工程師與 Broadcom 協作，提供版圖與佈線建議。
  • 在 Hot Chips 2026 上，OpenAI 報告矩陣乘法單元的面積比人工優化基準減少 10%，歸功於 AI 引導的配置。
  • 未來世代計畫將 LLM 更深入嵌入驗證與物理設計；目前的流程被形容為「過時」，與預期的下一代流程相比。

"我們正試圖以最快的速度前進……在創新與沿用歷史成功做法之間存在權衡。" – Chris Leary。

5. Jalapeño 的效能亮點

關鍵重點： Jalapeño 提供 13.4 PFLOPS 的 4 位元運算能力、232 GB 的 HBM4 記憶體與 15.4 TB/s 的記憶體頻寬，在功耗更低的情況下，實現相比 Nvidia GB300 最高 3.6 倍的端到端推論延遲降低。

  • OpenAI 引用的基準測試顯示，在多種 LLM 工作負載中均有延遲降低。
  • 芯片採用六組 HBM4 堆疊與 I/O 芯片，目標為大型推論叢集（每叢集 2,048 顆芯片）。
  • 當芯片在 OpenAI 推論叢集擴展時，實際世界中的延遲提升仍有待驗證。

6. 專家與社群反應

關鍵重點： 產業界認為此時程為「目前最佳」，但預期隨著 LLM 能力成熟，未來週期將更短。

  • Andrew Kahng，UC San Diego："目前最頂尖的表現。2016 年的 Design Automation Futures 研討會已暗示迭代速度是主要限制因素。"
  • Ankur Srivastava，馬里蘭大學："LLM 與過去的自動化不同，因為它們理解語言與程式碼，使其適合仍處於語言領域的任務。"
  • Verkor 共創者（David Chin、Ravi Krishna）：承認時程可信，但強調 Broadcom 的角色，並預期新模型將帶來進一步加速。
  • Hacker News 評論 反映出混合意見：
    • pama："在 40 小時內從 0.31% 提升至 88.94% 的效能提升令人印象深刻，可能縮短啟動週期。"
    • muchdoubt："標題是誇張宣傳；AI 只協助軟體，並未協助核心芯片設計。"
    • gozucito："遞迴自我改進的感覺現在更可信了；20 個月的芯片週期雖快，但仍受限於物理製造。"
    • delusional："AI 無法發明真正的新芯片，它只是更快地重複既有想法。"

7. 未來展望 – 下一代可能的樣貌

關鍵重點： OpenAI 計畫在其第二代加速器中全面嵌入 AI，涵蓋驗證、物理設計與自動波形分析，目標是進一步縮短週期並提升矽晶效率。

  • 驗證 AI：自動波形操作以精準定位時脈域失敗點。
  • 物理設計 AI：預期在面積與功耗上取得超越目前 10% 矩陣單元減量的成果。
  • 模型整合：內部微調的 LLM（未公開）將把經驗回饋至商業模型如 GPT-6 Astra。
  • 產業影響：若 LLM 驅動設計成為主流，小型團隊也能產出具競爭力的 AI 芯片，降低進入門檻，並可能重塑 AI 硬體供應鏈。

8. 總結

OpenAI 的 Jalapeño 芯片展現出 LLM 增強設計可將完整 ASIC 流程壓縮至兩年以內，在工程團隊不到 100 人的前提下，交付高性能 AI 加速器。此方法驗證了語言模型推理可取代許多重複性、以程式碼為中心的芯片設計任務，並為半導體產業設下新的「快速矽晶」基準，未來幾年將被廣泛追尋。

Sources

相關