vLLM 对 NVIDIA Nemotron 3.5 Super VL 的 Day 0 支持：120B MoE 多模态智能体模型
摘要
vLLM 为 NVIDIA Nemotron 3.5 Super VL 提供了 Day 0 支持，这是一个为长期运行的智能体而构建的开放、可定制的多模态模型。该模型采用 1200 亿参数的混合专家（MoE）架构，其中 120 亿个活跃参数，接受文本、图像、文档和视频作为输入，并输出文本，可通过 vLLM 提供持续批处理、前缀缓存、推测解码和 OpenAI 兼容 API 的服务。
这一公告之所以重要，是因为它在权重可用的同一天，将高精度的智能体执行模型与生产级服务栈配对，包括 NVFP4 量化检查点和内置的多 token 预测（MTP）头，以加快解码速度。
NVIDIA Nemotron 3.5 Super VL 是什么
NVIDIA Nemotron 3.5 Super VL 是一个开放、可定制的多模态模型，专为长期运行的智能体而构建。它将推理、指令遵循和工具使用与文本、图像、文档和视频理解结合在单个模型中，从而减少了部署单独文本和视觉模型的需求，并有助于在工作流步骤中保持与任务相关的上下文。
该模型基于 1200 亿参数的混合专家架构，其中 120 亿个活跃参数。据 NVIDIA 称，这种设计在专业、常驻智能体任务中平衡了准确性和效率。组织可以使用 NVIDIA NeMo 使用自己的数据、工具、策略和工作流对模型进行后训练。
在模型系统中，Nemotron 3.5 Super VL 被定位为默认的高精度智能体执行模型，具有原生的文档、图像和视频理解能力。它补充了同一系列中的另外两个模型：NVIDIA Nemotron 3.5 Lightning 用于高容量文本执行，以及 NVIDIA Nemotron 3 Ultra 用于最难的纯文本推理。
关键规格
| 属性 | 值 |
|---|---|
| 架构 | 120B 总参数，12B 活跃参数，混合专家 |
| 模态 | 文本、图像、文档和视频作为输入；文本作为输出 |
| 优化 | C-RADIOv4 视觉编码器、混合 Mamba-Transformer 架构、多 token 预测、NVFP4 量化 |
| 模型角色 | 在模型系统中具有原生视觉理解的高精度智能体执行 |
| 定制 | 使用 NVIDIA NeMo 使用组织特定数据、工具、策略和工作流进行后训练 |
| 部署 | NVIDIA NIM 用于跨云和数据中心环境的优化生产服务 |
| 部署目标 | 1x GB10、B200、B300、RTX PRO 6000、H200 和 2x H100 |
模型针对的两个要求
NVIDIA 围绕多模态、常驻智能体的两个实际要求来构建 Nemotron 3.5 Super VL：
- 原生视觉理解与智能体执行。 该模型将高精度推理和工具使用与文档、图像和视频理解相结合，在专门的工作流中保持与任务相关的上下文。
- 高效、可控的部署。 混合 Mamba-Transformer 架构、多 token 预测和 NVFP4 量化旨在提高生成效率，并为更多并发长上下文会话创造空间。
如何在 vLLM 上服务该模型
vLLM 提供了将 Nemotron 3.5 Super VL 带入生产工作流的服务层。该栈包括持续批处理、前缀缓存、推测解码和 OpenAI 兼容 API。BF16 检查点提供了直接的部署基线，同时发布时也提供了 NVFP4 检查点，适用于可以利用低精度推理的环境。
安装 vLLM
docker pull vllm/vllm-openai:v0.31.0
docker run --rm -it --gpus all --ipc=host --network=host \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--entrypoint /bin/bash \
vllm/vllm-openai:v0.31.0
服务模型
发布的 NVFP4 启动配置是 1x GB200 设置的示例，源代码建议在使用前在目标硬件上验证它。
vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \
--served-model-name nemotron-3.5-super \
--trust-remote-code \
--max-model-len 114688 \
--reasoning-parser nemotron_v3 \
--speculative-config.method mtp \
--speculative-config.num_speculative_tokens 5
服务器运行后，应用程序可以通过 OpenAI 兼容客户端发送提示。下面的示例发送一个视频 URL，并从响应中读取思考轨迹和最终答案：
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="null")
response = client.chat.completions.create(
model="nemotron-3.5-super",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "描述这个视频中发生了什么。"},
{
"type": "video_url",
"video_url": {"url": "https://example.com/clip.mp4"}
},
],
}
],
temperature=1.0,
top_p=0.95,
max_tokens=4096,
)
print(response.choices[0].message.reasoning) # 思考轨迹
print(response.choices[0].message.content) # 最终答案
用于长期运行的智能体工作流的多 token 预测
Nemotron 3.5 Super VL 支持多 token 预测（MTP）以加速 token 生成，同时保持目标模型的输出质量。该模型包括内置的 MTP 头：在解码过程中，这些头提出未来的 token，目标模型验证它们，从而减少较长响应所需的顺序生成步骤数。
MTP 也可以使用三个推测 token 而不是五个来启用：
vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \
--served-model-name nemotron-3.5-super \
--trust-remote-code \
--speculative-config.method mtp \
--speculative-config.num_speculative_tokens 3
报告的准确性和效率
NVIDIA 表示，Nemotron 3.5 Super VL 旨在为专业的多模态智能体任务提供高精度，同时每个 token 仅使用其总参数的一部分。混合 Mamba-Transformer 架构、多 token 预测和 NVFP4 量化被认为是加速输出生成的因素。
发布的性能声明如下：
- 在单个 GPU 上，与同类别的其他开放模型相比，该模型在智能体任务上的吞吐量提高了 5 倍。
- 在 100,000 个输入 token 时，该模型达到 每秒超过 600 个输出 token，与其他开放模型相比。此数字是在 Baseten 端点上根据 Artificial Analysis Intelligence Index 智能体任务测量的。
- 在四块 B200 GPU 上，根据比较 SWE-bench Pro 准确性与完成 10,000 个任务所需小时数的图表，该模型执行任务的速度比其他类似规模的领先开放模型 快 4 倍。在该比较中，Nemotron 3.5 Super VL 的完成时间最短。
来源材料中有一个注意事项：显示 DGX Spark 比较的第三个图表涵盖了相关的 Nemotron 3.5 Super 模型，并且明确不测量 Nemotron 3.5 Super VL。在该图表中，Nemotron 3.5 Super 在 local.ai 智能指数上得分为 80，在 DGX Spark 上每个任务需要 6.5 分钟。
示例用例
NVIDIA 列出了该模型的五个目标工作负载：
- 客户服务： 通过解释客户提供的文档和图像、应用策略和使用服务工具来解决多步骤请求。
- 文档智能： 解释复杂文档，包括 OCR、表格、图表和页面布局，以提取信息并生成摘要或报告。
- 企业生产力： 通过解释视觉信息、跨信息推理和使用工具来完成多步骤任务。
- 视频理解： 从视频中提取关键信息，以支持搜索、内容审查、广告、零售和事件分析。
- 网络研究： 跨网站搜索，连接多个来源的信息，并验证结果。
可用性
vLLM 博客文章感谢 NVIDIA 贡献者 Nirmal Kumar Juluru、Anusha Pant、Faradawn Yang、Pen Chung Li、Alex Steiner、Ran Zilberstein、Nave Assaf 和 Amir Klein。