vLLM 对 Inkling 2 Small 的 Day-0 支持:594B MoE、1M 上下文和 630 TPS/用户
vLLM 为 Thinking Machines 的 Inkling 2 Small 提供 Day-0 支持,这是一个多模态文本与视觉 MoE 模型,总参数量 594B,激活参数量 17B,上下文长度可达 1M tokens。该集成意义重大,因为 vLLM 在模型发布时即提供优化的服务支持,包括混合精度 MoE 执行、原生 DSpark 推测器、LoRA 支持,以及针对长上下文智能体工作负载调优的内核。
TL;DR
- 594B 总参数、17B 激活参数、1M 上下文。 Inkling 2 Small 是一个 48 层 MoE,具有 384 个专家(top-8),接受图像和文本输入,输出文本。
- 架构升级自 Inkling。 新增了块注意力残差、注意力汇聚、门控注意力和 ViT 图像编码器。
- 混合精度 MoE。 MoE 在 0–39 层使用 NVFP4,在 40–47 层使用 MXFP8,因此模型可以在单节点上提供服务。
- 原生 DSpark 推测器。 带有 RNN 头的 DSpark 每步草拟 7 个 tokens。
- 广泛优化。 内核融合、PDL、调优的 Gluon 注意力内核和序列并行在 GB200 上 TP4 配置下实现了高达 630 TPS/用户,接受长度为 3.5。
- RL 和 LoRA 支持。 vLLM 支持通过 SkyRL 进行 RL,并支持该模型的 LoRA。
服务命令
该模型可以使用 vLLM 通过张量并行、Inkling 推理和工具调用解析器、自动工具选择以及 DSpark 推测解码来提供服务:
vllm serve thinkingmachines/Inkling-2-Small \
--tensor-parallel-size 8 \
--reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice \
--speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'
模型架构
Inkling 2 Small 保留了 Inkling 的主干,并添加了更新的架构组件。主干包括 5:1 的滑动窗口和全注意力混合、带有学习相对偏置的 GQA(替代 RoPE)、每层四个核大小为 4 的短卷积,以及 sigmoid 路由的 MoE。
该模型有 48 层:40 层滑动窗口层和 8 层全注意力层。所有层使用 48 个查询头和 8 个 KV 头,滑动窗口为 1,024 tokens。MoE 有 384 个路由专家,top-8 路由,无共享专家,所有层均为 MoE。
与 Inkling 相比,架构变化显著:
| 组件 | Inkling | Inkling 2 Small |
|---|---|---|
| 层数 | 66(55 滑动窗口 + 11 全注意力) | 48(40 滑动窗口 + 8 全注意力) |
| 残差路径 | 残差流 | 块注意力残差(8 个块,每块 6 层) |
| 注意力 | 带相对偏置的 GQA,无 RoPE | 相同 |
| 头(查询 / KV) | 64 / 8 全注意力,64 / 16 滑动窗口 | 所有层 48 / 8 |
| 滑动窗口 | 512 | 1,024 |
| 注意力输出 | 普通 | sigmoid 门控和每 token 汇聚 |
| 短卷积 | 每层 4 个(K、V、注意力输出、MLP 输出),核大小 4 | 相同 |
| MoE | 256 路由(top-6)+ 2 个共享专家汇聚,前 2 层密集 | 384 路由(top-8),无共享专家,所有层 MoE |
| 专家精度 | NVFP4 | NVFP4(0–39 层),MXFP8(40–47 层) |
| 模态 | 文本、图像、音频输入;文本输出 | 文本、图像输入;文本输出 |
| 图像编码器 | 4 层 hMLP,40×40 块 | 23 层 ViT(1,024 宽),20×20 块 |
| 推测解码 | 8 个链式 MTP 头 | DSpark 草拟,每步 7 个 tokens |
块注意力残差取代了残差流。在每个子层之前,一个学习到的查询混合了先前 6 层块的输出。门控注意力在每个头的输出上放置 sigmoid 门控,并带有每 token 注意力汇聚。图像编码器是一个 23 层 ViT,宽度 1,024,处理 20×20 块,取代了 Inkling 的 4 层 hMLP 编码器(40×40 块)。
混合精度 MoE 与 Four-Over-Six NVFP4
Inkling 2 Small 在其 48 层中使用混合专家精度。前 40 层的专家使用 NVFP4,后 8 层的专家使用 MXFP8。这种混合精度设计允许模型在单节点上提供服务。
NVFP4 激活使用每 token 全局缩放加上双候选块缩放,这种方案称为 Four Over Six。对于每个 16 元素块,量化器尝试将块的最大值缩放到 6 和 4,然后保留由 MAE 测量的重建误差较低的候选。
带有 RNN 头的 DSpark 推测器
该检查点附带 DSpark 草拟器,取代了 Inkling 的 8 个链式 MTP 头。推测器有 5 层,每步草拟 7 个 tokens。其头部是 DeepSeek DSpark 论文中描述的 RNN 变体。
vLLM 集成与优化
vLLM 的集成针对模型的特定瓶颈:内存受限的子层边界、MoE 激活量化、张量并行下的冗余预填充工作,以及由模型 GQA 比率引起的慢解码注意力。
内核融合与 PDL
vLLM 将子层之间的集合通信和内存受限操作融合到单个内核中。使用块注意力残差,每个边界需要一次全归约、一次短卷积、一次残差更新、注意力残差混合和一次 RMSNorm。这些是对相同隐藏状态的五个内存受限步骤。
融合内核 allreduce_conv_mix 通过 NVLink 多播执行全归约,并将后续所有内容保留在寄存器中。GEMM、注意力、路由和激活内核使用程序化依赖启动(PDL)启动,因此每个内核的前言与前一内核的尾部重叠。这在批大小较小时很重要,因为解码步骤是短内核的长链。
带有融合激活量化的 MoE
vLLM 在产生专家激活的内核内部量化它们,匹配每层的 NVFP4 或 MXFP8 精度。没有单独的量化过程接触隐藏状态。路由内核在门控/上投影之前量化 tokens,softcapped SwiGLU 在下投影之前量化其输出。专家 GEMM 在 TensorRT-LLM 的批处理 GEMM 内核上运行,随 FlashInfer 一起提供。
预填充的序列并行
在普通张量并行下,每个 GPU 在每次全归约后对所有 tokens 运行短卷积、注意力残差混合和 RMSNorm。相同的工作在每个 rank 上重复。这在解码中成本低,但在预填充中成本高。
vLLM 通过序列并行消除了冗余。每个 GPU 进行 reduce-scatter,仅在其 token 切片上运行融合的 conv_mix 内核中的短卷积、残差更新、注意力残差混合和 RMSNorm,然后为下一个 GEMM 进行 all-gather。这将 8K token 预填充步骤在 TP4 下减少了 22%,在 TP8 下减少了 26%,并为 KV 缓存释放了每 GPU 1.3–1.9 GiB。
优化的 Gluon 相对注意力解码内核
Inkling 的 FlashAttention-4 解码路径对 Inkling 2 Small 来说很慢,因为 6:1 的 GQA 比率静默禁用了 GQA 打包。vLLM 为解码和验证编写了一个 warp 专用的 Gluon 内核,将 6 个头打包到一个 64 行 tile 中,并仅读取一次 KV。一个 TMA warp 流式传输 KV,一个 tcgen05 warp 运行 MMA,四个 softmax warp 应用相对偏置。
在 100K 上下文下的 batch-1 解码步骤从 15.1 ms 降至 4.8 ms。预填充保留 Inkling 的剪切偏置 FlashAttention-4 路径。
性能
vLLM 在 TP8 下使用两个 4-GPU 节点,在智能体工作负载上对 Inkling 2 Small 进行了基准测试,使用 DSpark 概率草拟和前缀缓存。每个会话保持长上下文,并在每轮中附加先前的答案和约 2K tokens 的工具输出,因此每轮只有约 3K tokens 是新的。每轮生成 1,024 个 tokens,温度为 1.0。
下表给出了每个用户获得 100 tokens/s 的并发度下每 GPU 的输出吞吐量:
| 会话上下文 | 每 GPU 输出 tok/s(100 tok/s/用户) | 并发会话数 | 前缀缓存命中率 | 接受长度 |
|---|---|---|---|---|
| 32K | ~1,070 | ~84 | 91% | 3.3 |
| 64K | ~915 | ~72 | 95% | 3.4 |
| 128K | ~700 | ~55 | 98% | 3.5 |
| 256K | ~450 | ~37 | 99% | 3.5 |
对于 TP4 下的单个用户,模型解码速度约为 630 tok/s,接受长度为 3.5。
准确性评估
vLLM 保持参考实现的数值:每一步使用相同的数据类型,FP32 注意力输出和路由器,以及相同的 NVFP4/MXFP8 激活量化。只有归约顺序和全归约的 BF16 部分不同。
端到端,vLLM 使用 inkling-verify 在 NIAH(最长 1M tokens)、MMMU-Pro 和 HLE 上验证了准确性,并启用了 DSpark。分数与 vLLM 在没有推测解码的情况下的运行相匹配。
影响
Inkling 2 Small 是一个大型稀疏多模态模型,具有 1M-token 上下文窗口,vLLM 的 Day-0 支持表明它可以在单节点上以混合 NVFP4/MXFP8 专家精度提供服务。该集成结合了架构感知内核、融合通信和归一化、预填充的序列并行,以及自定义 Gluon 解码内核,使长上下文智能体服务变得实用。vLLM 还支持该模型的 LoRA 和通过 SkyRL 的 RL。