vLLM 对 Inkling 2 Small 的 Day-0 支持:594B MoE、1M 上下文和 630 TPS/用户

vLLM 为 Thinking Machines 的 Inkling 2 Small 提供 Day-0 支持,这是一个多模态文本与视觉 MoE 模型,总参数量 594B,激活参数量 17B,上下文长度可达 1M tokens。该集成意义重大,因为 vLLM 在模型发布时即提供优化的服务支持,包括混合精度 MoE 执行、原生 DSpark 推测器、LoRA 支持,以及针对长上下文智能体工作负载调优的内核。

TL;DR

  • 594B 总参数、17B 激活参数、1M 上下文。 Inkling 2 Small 是一个 48 层 MoE,具有 384 个专家(top-8),接受图像和文本输入,输出文本。
  • 架构升级自 Inkling。 新增了块注意力残差、注意力汇聚、门控注意力和 ViT 图像编码器。
  • 混合精度 MoE。 MoE 在 0–39 层使用 NVFP4,在 40–47 层使用 MXFP8,因此模型可以在单节点上提供服务。
  • 原生 DSpark 推测器。 带有 RNN 头的 DSpark 每步草拟 7 个 tokens。
  • 广泛优化。 内核融合、PDL、调优的 Gluon 注意力内核和序列并行在 GB200 上 TP4 配置下实现了高达 630 TPS/用户,接受长度为 3.5。
  • RL 和 LoRA 支持。 vLLM 支持通过 SkyRL 进行 RL,并支持该模型的 LoRA。

服务命令

该模型可以使用 vLLM 通过张量并行、Inkling 推理和工具调用解析器、自动工具选择以及 DSpark 推测解码来提供服务:

vllm serve thinkingmachines/Inkling-2-Small \
  --tensor-parallel-size 8 \
  --reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'

模型架构

Inkling 2 Small 保留了 Inkling 的主干,并添加了更新的架构组件。主干包括 5:1 的滑动窗口和全注意力混合、带有学习相对偏置的 GQA(替代 RoPE)、每层四个核大小为 4 的短卷积,以及 sigmoid 路由的 MoE。

该模型有 48 层:40 层滑动窗口层和 8 层全注意力层。所有层使用 48 个查询头和 8 个 KV 头,滑动窗口为 1,024 tokens。MoE 有 384 个路由专家,top-8 路由,无共享专家,所有层均为 MoE。

与 Inkling 相比,架构变化显著:

组件 Inkling Inkling 2 Small
层数 66(55 滑动窗口 + 11 全注意力) 48(40 滑动窗口 + 8 全注意力)
残差路径 残差流 块注意力残差(8 个块,每块 6 层)
注意力 带相对偏置的 GQA,无 RoPE 相同
头(查询 / KV) 64 / 8 全注意力,64 / 16 滑动窗口 所有层 48 / 8
滑动窗口 512 1,024
注意力输出 普通 sigmoid 门控和每 token 汇聚
短卷积 每层 4 个(K、V、注意力输出、MLP 输出),核大小 4 相同
MoE 256 路由(top-6)+ 2 个共享专家汇聚,前 2 层密集 384 路由(top-8),无共享专家,所有层 MoE
专家精度 NVFP4 NVFP4(0–39 层),MXFP8(40–47 层)
模态 文本、图像、音频输入;文本输出 文本、图像输入;文本输出
图像编码器 4 层 hMLP,40×40 块 23 层 ViT(1,024 宽),20×20 块
推测解码 8 个链式 MTP 头 DSpark 草拟,每步 7 个 tokens

块注意力残差取代了残差流。在每个子层之前,一个学习到的查询混合了先前 6 层块的输出。门控注意力在每个头的输出上放置 sigmoid 门控,并带有每 token 注意力汇聚。图像编码器是一个 23 层 ViT,宽度 1,024,处理 20×20 块,取代了 Inkling 的 4 层 hMLP 编码器(40×40 块)。

混合精度 MoE 与 Four-Over-Six NVFP4

Inkling 2 Small 在其 48 层中使用混合专家精度。前 40 层的专家使用 NVFP4,后 8 层的专家使用 MXFP8。这种混合精度设计允许模型在单节点上提供服务。

NVFP4 激活使用每 token 全局缩放加上双候选块缩放,这种方案称为 Four Over Six。对于每个 16 元素块,量化器尝试将块的最大值缩放到 6 和 4,然后保留由 MAE 测量的重建误差较低的候选。

带有 RNN 头的 DSpark 推测器

该检查点附带 DSpark 草拟器,取代了 Inkling 的 8 个链式 MTP 头。推测器有 5 层,每步草拟 7 个 tokens。其头部是 DeepSeek DSpark 论文中描述的 RNN 变体。

vLLM 集成与优化

vLLM 的集成针对模型的特定瓶颈:内存受限的子层边界、MoE 激活量化、张量并行下的冗余预填充工作,以及由模型 GQA 比率引起的慢解码注意力。

内核融合与 PDL

vLLM 将子层之间的集合通信和内存受限操作融合到单个内核中。使用块注意力残差,每个边界需要一次全归约、一次短卷积、一次残差更新、注意力残差混合和一次 RMSNorm。这些是对相同隐藏状态的五个内存受限步骤。

融合内核 allreduce_conv_mix 通过 NVLink 多播执行全归约,并将后续所有内容保留在寄存器中。GEMM、注意力、路由和激活内核使用程序化依赖启动(PDL)启动,因此每个内核的前言与前一内核的尾部重叠。这在批大小较小时很重要,因为解码步骤是短内核的长链。

带有融合激活量化的 MoE

vLLM 在产生专家激活的内核内部量化它们,匹配每层的 NVFP4 或 MXFP8 精度。没有单独的量化过程接触隐藏状态。路由内核在门控/上投影之前量化 tokens,softcapped SwiGLU 在下投影之前量化其输出。专家 GEMM 在 TensorRT-LLM 的批处理 GEMM 内核上运行,随 FlashInfer 一起提供。

预填充的序列并行

在普通张量并行下,每个 GPU 在每次全归约后对所有 tokens 运行短卷积、注意力残差混合和 RMSNorm。相同的工作在每个 rank 上重复。这在解码中成本低,但在预填充中成本高。

vLLM 通过序列并行消除了冗余。每个 GPU 进行 reduce-scatter,仅在其 token 切片上运行融合的 conv_mix 内核中的短卷积、残差更新、注意力残差混合和 RMSNorm,然后为下一个 GEMM 进行 all-gather。这将 8K token 预填充步骤在 TP4 下减少了 22%,在 TP8 下减少了 26%,并为 KV 缓存释放了每 GPU 1.3–1.9 GiB。

优化的 Gluon 相对注意力解码内核

Inkling 的 FlashAttention-4 解码路径对 Inkling 2 Small 来说很慢,因为 6:1 的 GQA 比率静默禁用了 GQA 打包。vLLM 为解码和验证编写了一个 warp 专用的 Gluon 内核,将 6 个头打包到一个 64 行 tile 中,并仅读取一次 KV。一个 TMA warp 流式传输 KV,一个 tcgen05 warp 运行 MMA,四个 softmax warp 应用相对偏置。

在 100K 上下文下的 batch-1 解码步骤从 15.1 ms 降至 4.8 ms。预填充保留 Inkling 的剪切偏置 FlashAttention-4 路径。

性能

vLLM 在 TP8 下使用两个 4-GPU 节点,在智能体工作负载上对 Inkling 2 Small 进行了基准测试,使用 DSpark 概率草拟和前缀缓存。每个会话保持长上下文,并在每轮中附加先前的答案和约 2K tokens 的工具输出,因此每轮只有约 3K tokens 是新的。每轮生成 1,024 个 tokens,温度为 1.0。

下表给出了每个用户获得 100 tokens/s 的并发度下每 GPU 的输出吞吐量:

会话上下文 每 GPU 输出 tok/s(100 tok/s/用户) 并发会话数 前缀缓存命中率 接受长度
32K ~1,070 ~84 91% 3.3
64K ~915 ~72 95% 3.4
128K ~700 ~55 98% 3.5
256K ~450 ~37 99% 3.5

对于 TP4 下的单个用户,模型解码速度约为 630 tok/s,接受长度为 3.5。

准确性评估

vLLM 保持参考实现的数值:每一步使用相同的数据类型,FP32 注意力输出和路由器,以及相同的 NVFP4/MXFP8 激活量化。只有归约顺序和全归约的 BF16 部分不同。

端到端,vLLM 使用 inkling-verify 在 NIAH(最长 1M tokens)、MMMU-Pro 和 HLE 上验证了准确性,并启用了 DSpark。分数与 vLLM 在没有推测解码的情况下的运行相匹配。

影响

Inkling 2 Small 是一个大型稀疏多模态模型,具有 1M-token 上下文窗口,vLLM 的 Day-0 支持表明它可以在单节点上以混合 NVFP4/MXFP8 专家精度提供服务。该集成结合了架构感知内核、融合通信和归一化、预填充的序列并行,以及自定义 Gluon 解码内核,使长上下文智能体服务变得实用。vLLM 还支持该模型的 LoRA 和通过 SkyRL 的 RL。

Sources