vLLM 对 Mistral Large 4 的 Day 0 支持

vLLM 宣布对 Mistral 最新的前沿混合专家 (MoE) 多模态模型 Mistral Large 4 提供完整的 Day 0 支持。此次集成通过全新的模型运行器 (MRV2) 实现了高性能推理，并支持跨层 KV 共享、NoPE 层和 DSpark 推测解码等高级架构特性。

模型架构与能力

Mistral Large 4 是一款 72 层的 MoE 模型，拥有 128 个路由专家（top-4 选择）和一个共享专家。它采用了 DeepSeek 风格的稀疏注意力堆栈，包括多头潜在注意力 (MLA) 和 DSA 稀疏索引器。关键架构亮点包括：

  • 参数量： 总参数量 1 万亿，每个 token 激活 490 亿参数。
  • 多模态： 集成了 Pixtral 视觉编码器，支持每个提示词包含多张图像。
  • 效率： 使用跨层 KV 共享，其中 9 个 NoPE 层从第 35 层读取潜在缓存，显著降低了内存开销。
  • 量化： 同时支持 FP8（块缩放）和 NVFP4 格式，后者在核心基准测试中性能与 FP8 相差在 0.3 分以内，同时提供了 1.5 倍的 KV 缓存容量。

性能优化

vLLM 的实现引入了多项优化，以应对该模型的规模和长上下文需求：

  • 解码上下文并行 (DCP)： 将潜在 KV 缓存分片到张量并行等级中，从而大幅提升 KV 容量——在 TP8 FP8 配置下最高可达 1888 万个 token。
  • DSpark 推测解码： 内置的草稿模型使用滑动窗口 MLA 层，每步可实现约 2.9 个 token，提供约 2 倍的输出吞吐量。
  • 存算分离服务 (NIXL)： 支持预填充/解码分离，允许对计算密集型的预填充节点和内存密集型的解码节点进行独立扩展。
  • HiSparse： 启用主机内存稀疏 KV 卸载，现已兼容跨层 KV 共享，通过将非驻留 KV 保留在固定的主机内存中，从而实现扩展的上下文窗口。

硬件支持

除了标准的 NVIDIA GPU 部署外，此版本还通过 ROCm 提供了对 AMD Instinct MI350 系列 GPU 的 Day 0 支持。这包括：

  • MXFP4 专家： 支持专家模型的 OCP MXFP4 量化，减少内存占用，使 1T 模型能够在 4 张 MI350 GPU 上运行。
  • AITER 集成： 利用 AMD 的 AITER 内核库进行融合 MoE 操作、MLA 解码内核以及优化的全规约 (all-reduce) 操作。
  • 专用解码： 为低并发服务提供延迟优化路径，将 MoE 层融合到持久内核启动中，显著降低了每个 token 的延迟。

部署

Mistral Large 4 可通过 vllm/vllm-openai:mistral-large-4 Docker 镜像获取。用户可以使用标准的 vLLM 标志来配置模型，包括张量并行、推测解码和工具调用解析。该实现还支持 TPU v7x 环境，利用 vllm-torchtpu 进行稀疏 MLA 和 DSA 索引器内核计算。

Sources