OpenAI Jalapeño 推理芯片：架构与性能分析

OpenAI 发布了 "Jalapeño"，这是一款从零开始为大语言模型 (LLM) 推理而设计的定制推理芯片。通过与 Broadcom 合作开发，该芯片代表了一个极其激进的开发周期，从 2024 年中期开始，从最初的团队组建到制造流片 (tape-out) 大约仅用了 16 个月。

性能基准测试与效率

Jalapeño 在每瓦性能 (perf/W) 方面展示了行业领先的水平，在多个场景下超越了 Nvidia Blackwell 甚至更新的 Vera Rubin 架构。根据使用 InferenceX 套件进行的基准测试，Jalapeño 在无需多 Token 预测 (MTP) 或投机解码 (speculative decoding) 的情况下，在低延迟和高吞吐量场景中均表现出色。

关键性能指标

交互性： 在 DeepSeek R1 模型上，Jalapeño 在并发度为 1 时实现了每用户超过 700 tokens/s 的速度。
吞吐量： 对于 GPT-OSS 等模型，该芯片实现了每用户约 1,400 tokens/s 的速度。
能效： Jalapeño 每兆瓦 (MW) 的输出 Token 吞吐量超过了 Vera Rubin 的 MTP 结果，并显著优于 GB200 的 2025 年预期结果。
TCO： 在基于每 TCO 性能的指标上，Jalapeño 目前与 Vera Rubin 持平，尽管 Jalapeño 的结果是在没有使用投机解码的情况下获得的，一旦实施该技术，成本可能额外降低 3-5 倍。

硬件架构

Jalapeño 是一款通用型推理芯片，而非专门针对单一模型的芯片。其设计旨在最大化 HBM 带宽并最小化权重和 KV 缓存的内存移动。

技术规格

制造： B0 stepping 制造在 TSMC 的 N3P 节点上。
TDP： 该芯片的功耗 (TDP) 为 700W，低于 Rubin 的 900-1,150W。
内存： 它利用 HBM4，每个封装提供 15.4 TB/s 的内存带宽，超过了使用 HBM3E 的加速器。
计算： B0 stepping 在单个光罩尺寸 (reticle-sized) 的计算芯片上提供 13.4 PFLOPs 的 MXFP4 算力。
I/O： 一个 N3E I/O chiplet 提供 32 通道的 800G SerDes，其中 24 通道用于本地扩展 (scale-up)，8 通道用于全局扩展 (scale-up)。

架构创新

统一内存池： 与某些竞争对手不同，OpenAI 选择不将 prefill 和 decode (PD) 分配到不同的芯片池中。这种同质化内存池允许系统随着工作负载混合比例 (输入/输出比例) 随时间变化而保持灵活性。
乱序 (OoO) 核心： Jalapeño 使用带有 L1 缓存的 OoO 核心，而不是软件管理的 scratchpads。这减少了诸如屏障延迟 (barrier latencies) 之类的固定开销，使芯片能够更接近其理论硬件峰值 (roofline)。
矩阵引擎： 矩阵引擎使用 MXFP 数值格式和权重驻留 (weight-stationary) 脉动阵列，支持更小的形状和维度，以避免在大型脉动阵列中常见的性能骤降 (performance cliffs)。

软件栈与内核开发

OpenAI 绕过了传统的通用编译器，转而采用高性能、低层级的编程方法。

Gluon 与线性布局 (Linear Layouts)

OpenAI 使用一种名为 Gluon 的内核编程语言，该语言构建在 Triton 之上。Gluon 暴露了低层级的抽象，并引入了 "Linear Layouts"，即硬件资源与张量元素之间映射关系的数学形式化描述。这使得布局转换可以被证明是正确的，并且可以实现最优的内存重排 (swizzling)。

AI 辅助内核生成

OpenAI 利用内部版本的 Codex 来编写手调优的内核 (部分内核长达 3,000 行) 作为汇编代码。这种 AI 驱动的方法允许团队在无需人工干预的情况下，快速部署复杂的内核，例如用于 DeepSeek 的 MLA 内核。

系统级集成

Jalapeño 部署在由一个主机架 (