vLLM 上的 NVIDIA Nemotron 3.5 Super VL 首日支持：120B MoE 多模态智能体模型
概要
vLLM 为 NVIDIA Nemotron 3.5 Super VL 提供了首日支持，这是一个开放、可定制的多模态模型，专为长期运行的智能体而构建。该模型采用 1200 亿参数的混合专家（MoE）架构，其中 12 亿参数处于激活状态，接受文本、图像、文档和视频作为输入，并输出文本，可通过 vLLM 提供持续批处理、前缀缓存、推测解码和 OpenAI 兼容 API 的服务。
这一公告意义重大，因为它将高精度的智能体执行模型与生产级服务栈在同一时间发布，包括 NVFP4 量化检查点和内置的多 token 预测（MTP）头，以加快解码速度。
NVIDIA Nemotron 3.5 Super VL 是什么
NVIDIA Nemotron 3.5 Super VL 是一个开放、可定制的多模态模型，专为长期运行的智能体而构建。它将推理、指令遵循和工具使用与文本、图像、文档和视频理解结合在单一模型中，从而减少部署单独文本和视觉模型的需求，并有助于在工作流步骤中保持任务相关的上下文。
该模型基于 1200 亿参数的混合专家架构，其中 12 亿参数处于激活状态。据 NVIDIA 称，这种设计在专业、常驻智能体任务中平衡了准确性和效率。组织可以使用 NVIDIA NeMo 利用自己的数据、工具、策略和工作流对模型进行后训练。
在模型系统中，Nemotron 3.5 Super VL 被定位为默认的高精度智能体执行模型，具有原生的文档、图像和视频理解能力。它与同一系列中的另外两个模型互补：NVIDIA Nemotron 3.5 Lightning 用于高吞吐量文本执行，NVIDIA Nemotron 3 Ultra 用于最困难的纯文本推理。
关键规格
| 属性 | 值 |
|---|---|
| 架构 | 120B 总参数，12B 激活参数，混合专家 |
| 模态 | 文本、图像、文档和视频作为输入；文本作为输出 |
| 优化 | C-RADIOv4 视觉编码器、混合 Mamba-Transformer 架构、多 token 预测、NVFP4 量化 |
| 模型角色 | 在模型系统中具有原生视觉理解的高精度智能体执行 |
| 定制 | 使用 NVIDIA NeMo 进行后训练，利用组织特定的数据、工具、策略和工作流 |
| 部署 | NVIDIA NIM 用于跨云和数据中心环境的优化生产服务 |
| 部署目标 | 1x GB10、B200、B300、RTX PRO 6000、H200 和 2x H100 |
模型针对的两个需求
NVIDIA 围绕多模态、常驻智能体的两个实际需求来定位 Nemotron 3.5 Super VL：
- 原生视觉理解与智能体执行。 该模型将高精度推理和工具使用与文档、图像和视频理解相结合，在专业工作流中保留任务相关的上下文。
- 高效、可控的部署。 混合 Mamba-Transformer 架构、多 token 预测和 NVFP4 量化旨在提高生成效率，并为更多并发长上下文会话创造空间。
如何在 vLLM 上服务该模型
vLLM 提供服务层，将 Nemotron 3.5 Super VL 引入生产工作流。该技术栈包括持续批处理、前缀缓存、推测解码和 OpenAI 兼容 API。BF16 检查点为部署提供了直接的基线，同时发布时还提供了 NVFP4 检查点，适用于可以利用低精度推理的环境。
安装 vLLM
docker pull vllm/vllm-openai:v0.31.0
docker run --rm -it --gpus all --ipc=host --network=host \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--entrypoint /bin/bash \
vllm/vllm-openai:v0.31.0
服务模型
发布的 NVFP4 启动配置是 1x GB200 设置的示例，源建议在使用前在目标硬件上验证。
vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \
--served-model-name nemotron-3.5-super \
--trust-remote-code \
--max-model-len 114688 \
--reasoning-parser nemotron_v3 \
--speculative-config.method mtp \
--speculative-config.num_speculative_tokens 5
服务器运行后，应用程序可以通过 OpenAI 兼容客户端发送提示。以下示例发送视频 URL，并从响应中读取思考轨迹和最终答案：
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="null")
response = client.chat.completions.create(
model="nemotron-3.5-super",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "描述这个视频中发生了什么。"},
{
"type": "video_url",
"video_url": {"url": "https://example.com/clip.mp4"}
},
],
}
],
temperature=1.0,
top_p=0.95,
max_tokens=4096,
)
print(response.choices[0].message.reasoning) # 思考轨迹
print(response.choices[0].message.content) # 最终答案
针对长期运行的智能体工作流的多 token 预测
Nemotron 3.5 Super VL 支持多 token 预测（MTP），以加速 token 生成，同时保持目标模型的输出质量。该模型包含内置的 MTP 头：在解码过程中，这些头会提出未来的 token，目标模型验证它们，从而减少较长响应所需的顺序生成步骤。
MTP 也可以使用三个推测 token 而不是五个来启用：
vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \
--served-model-name nemotron-3.5-super \
--trust-remote-code \
--speculative-config.method mtp \
--speculative-config.num_speculative_tokens 3
报告的准确性和效率
NVIDIA 表示，Nemotron 3.5 Super VL 旨在为专业多模态智能体任务提供高准确性，同时每个 token 仅使用总参数中的一部分。混合 Mamba-Transformer 架构、多 token 预测和 NVFP4 量化被认为是加速输出生成的因素。
已发布的性能声明包括：
- 在单个 GPU 上，该模型在智能体任务中提供的吞吐量比其他同尺寸类别的开放模型高出 5 倍。
- 该模型在 100,000 个输入 token 时达到超过 600 个输出 token/秒，与其他开放模型相比。此数值是在 Baseten 端点上根据 Artificial Analysis Intelligence Index 智能体任务测量的。
- 在四块 B200 GPU 上，该模型执行任务的速度比其他类似尺寸的领先开放模型 快 4 倍，基于比较 SWE-bench Pro 准确性与完成 10,000 个任务所需小时数的图表。Nemotron 3.5 Super VL 在该比较中完成时间最短。
源材料中有一个注意事项：显示 DGX Spark 比较的第三个图涵盖了相关的 Nemotron 3.5 Super 模型，并且明确不测量 Nemotron 3.5 Super VL。在该图中，Nemotron 3.5 Super 在 local.ai 智能指数上得分 80，在 DGX Spark 上每个任务需要 6.5 分钟。
示例用例
NVIDIA 列出了该模型的五个目标工作负载：
- 客户服务： 通过解释客户提供的文档和图像、应用策略和使用服务工具来解决多步骤请求。
- 文档智能： 解释复杂文档，包括 OCR、表格、图表和页面布局，以提取信息并生成摘要或报告。
- 企业生产力： 通过解释视觉信息、跨信息推理和使用工具来完成多步骤任务。
- 视频理解： 从视频中提取关键信息，以支持搜索、内容审查、广告、零售和事件分析。
- 网络研究： 跨网站搜索，连接多个来源的信息，并验证结果。
可用性
vLLM 博客文章感谢 NVIDIA 贡献者 Nirmal Kumar Juluru、Anusha Pant、Faradawn Yang、Pen Chung Li、Alex Steiner、Ran Zilberstein、Nave Assaf 和 Amir Klein。