vLLM에서 NVIDIA Nemotron 3.5 Super VL Day 0 지원: 120B MoE 멀티모달 에이전트 모델

TL;DR

vLLM은 장기 실행 에이전트를 위해 설계된 오픈 소스 맞춤형 멀티모달 모델인 NVIDIA Nemotron 3.5 Super VL에 대한 Day 0 지원을 제공합니다. 이 모델은 1,200억 개의 파라미터로 구성된 mixture-of-experts(MoE) 아키텍처(1,200억 개의 활성 파라미터)를 사용하며, 텍스트, 이미지, 문서, 비디오를 입력으로 받고 텍스트를 출력합니다. 또한 vLLM을 통해 연속 배치, 프리픽스 캐싱, 추측 디코딩, OpenAI 호환 API로 서빙할 수 있습니다.

이 발표는 고정확도 에이전트 실행 모델과 프로덕션 서빙 스택을 가중치가 공개되는 당일에 함께 제공한다는 점에서 중요합니다. 여기에는 NVFP4 양자화 체크포인트와 더 빠른 디코딩을 위한 내장 다중 토큰 예측(MTP) 헤드가 포함됩니다.

NVIDIA Nemotron 3.5 Super VL이란 무엇인가

NVIDIA Nemotron 3.5 Super VL은 장기 실행 에이전트를 위해 설계된 오픈 소스 맞춤형 멀티모달 모델입니다. 추론, 지시 따르기, 도구 사용을 텍스트, 이미지, 문서, 비디오 이해와 단일 모델로 결합하여, 별도의 텍스트 및 비전 모델을 배포할 필요성을 줄이고 워크플로 단계 전반에서 작업 관련 컨텍스트를 유지하는 데 도움을 줍니다.

이 모델은 1,200억 개의 활성 파라미터를 가진 1,200억 개 파라미터 MoE 아키텍처를 기반으로 합니다. NVIDIA에 따르면 이 설계는 특화된 상시 가동 에이전트 작업에 대해 정확성과 효율성의 균형을 제공합니다. 조직은 NVIDIA NeMo를 사용하여 자체 데이터, 도구, 정책, 워크플로로 모델을 사후 학습할 수 있습니다.

모델 시스템 내에서 Nemotron 3.5 Super VL은 기본 고정확도 에이전트 실행 모델로, 네이티브 문서, 이미지, 비디오 이해 기능을 갖추고 있습니다. 이는 같은 제품군의 다른 두 모델인 고용량 텍스트 실행용 NVIDIA Nemotron 3.5 Lightning과 가장 어려운 텍스트 전용 추론용 NVIDIA Nemotron 3 Ultra를 보완합니다.

주요 사양

속성 값
아키텍처 총 1,200억 개 파라미터, 활성 1,200억 개 파라미터, mixture-of-experts
모달리티 텍스트, 이미지, 문서, 비디오 입력; 텍스트 출력
최적화 C-RADIOv4 비전 인코더, 하이브리드 Mamba-Transformer 아키텍처, 다중 토큰 예측, NVFP4 양자화
모델 역할 모델 시스템 내에서 네이티브 시각 이해를 갖춘 고정확도 에이전트 실행
맞춤화 NVIDIA NeMo를 사용한 조직별 데이터, 도구, 정책, 워크플로 기반 사후 학습
배포 클라우드 및 데이터 센터 환경에서 최적화된 프로덕션 서빙을 위한 NVIDIA NIM
배포 대상 1x GB10, B200, B300, RTX PRO 6000, H200, 2x H100

모델이 목표로 하는 두 가지 요구사항

NVIDIA는 Nemotron 3.5 Super VL을 멀티모달 상시 가동 에이전트의 두 가지 실용적 요구사항을 중심으로 구성했습니다.

  • 에이전트 실행과 네이티브 시각 이해. 이 모델은 문서, 이미지, 비디오 이해와 고정확도 추론 및 도구 사용을 결합하여 특화된 워크플로 전반에서 작업 관련 컨텍스트를 유지합니다.
  • 효율적이고 제어 가능한 배포. 하이브리드 Mamba-Transformer 아키텍처, 다중 토큰 예측, NVFP4 양자화는 생성 효율성을 개선하고 더 많은 동시 장기 컨텍스트 세션을 위한 여유를 만들도록 설계되었습니다.

vLLM에서 모델을 서빙하는 방법

vLLM은 Nemotron 3.5 Super VL을 프로덕션 워크플로에 통합하는 서빙 레이어를 제공합니다. 스택에는 연속 배치, 프리픽스 캐싱, 추측 디코딩, OpenAI 호환 API가 포함됩니다. BF16 체크포인트는 배포를 위한 간단한 기준선을 제공하며, 저정밀 추론을 활용할 수 있는 환경을 위해 NVFP4 체크포인트도 출시 시 제공됩니다.

vLLM 설치

docker pull vllm/vllm-openai:v0.31.0

docker run --rm -it --gpus all --ipc=host --network=host \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  --entrypoint /bin/bash \
  vllm/vllm-openai:v0.31.0

모델 서빙

게시된 NVFP4 출시 구성은 1x GB200 설정의 예시이며, 소스는 사용 전 대상 하드웨어에서 검증할 것을 권장합니다.

vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \
  --served-model-name nemotron-3.5-super \
  --trust-remote-code \
  --max-model-len 114688 \
  --reasoning-parser nemotron_v3 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 5

서버가 실행되면 애플리케이션은 OpenAI 호환 클라이언트를 통해 프롬프트를 보낼 수 있습니다. 아래 예제는 비디오 URL을 보내고 응답에서 생각 과정과 최종 답변을 모두 읽습니다.

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="null")

response = client.chat.completions.create(
    model="nemotron-3.5-super",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "이 비디오에서 무슨 일이 일어나는지 설명해 주세요."},
                {
                    "type": "video_url",
                    "video_url": {"url": "https://example.com/clip.mp4"}
                },
            ],
        }
    ],
    temperature=1.0,
    top_p=0.95,
    max_tokens=4096,
)

print(response.choices[0].message.reasoning)  # 생각 과정
print(response.choices[0].message.content)    # 최종 답변

장기 실행 에이전트 워크플로를 위한 다중 토큰 예측

Nemotron 3.5 Super VL은 대상 모델의 출력 품질을 유지하면서 토큰 생성을 가속화하는 다중 토큰 예측(MTP)을 지원합니다. 모델에는 내장 MTP 헤드가 포함되어 있어, 디코딩 중에 이 헤드가 미래 토큰을 제안하고 대상 모델이 이를 검증하므로 더 긴 응답에 필요한 순차 생성 단계 수가 줄어듭니다.

MTP는 5개 대신 3개의 추측 토큰으로도 활성화할 수 있습니다.

vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \
  --served-model-name nemotron-3.5-super \
  --trust-remote-code \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 3

보고된 정확성 및 효율성

NVIDIA는 Nemotron 3.5 Super VL이 전체 파라미터 중 일부만 각 토큰에 사용하면서 특화된 멀티모달 에이전트 작업에 높은 정확성을 제공하도록 설계되었다고 밝힙니다. 하이브리드 Mamba-Transformer 아키텍처, 다중 토큰 예측, NVFP4 양자화가 출력 생성을 가속화하는 요인으로 언급됩니다.

게시된 성능 주장은 다음과 같습니다.

  • 단일 GPU에서 이 모델은 같은 크기 범주의 다른 오픈 모델보다 에이전트 작업 처리량이 최대 5배 향상됩니다.
  • 이 모델은 100,000 입력 토큰에서 초당 600개 이상의 출력 토큰을 달성하며, 다른 오픈 모델과 비교됩니다. 이 수치는 Baseten 엔드포인트에서 Artificial Analysis Intelligence Index 에이전트 작업을 기준으로 측정되었습니다.
  • B200 GPU 4개에서 이 모델은 SWE-bench Pro 정확성과 10,000개 작업 완료 시간을 비교한 차트를 기준으로 유사한 크기의 다른 주요 오픈 모델보다 4배 빠른 작업 수행을 보여줍니다. Nemotron 3.5 Super VL은 해당 비교에서 가장 짧은 완료 시간을 기록했습니다.

소스 자료의 한 가지 주의 사항: DGX Spark 비교를 보여주는 세 번째 수치는 관련 Nemotron 3.5 Super 모델에 대한 것으로, Nemotron 3.5 Super VL을 측정하지 않습니다. 해당 차트에서 Nemotron 3.5 Super는 local.ai 인텔리전스 지수에서 80점을 기록하고 DGX Spark에서 작업당 6.5분이 소요됩니다.

사용 사례 예시

NVIDIA는 이 모델의 다섯 가지 대상 워크로드를 나열합니다.

  • 고객 서비스: 고객이 제공한 문서와 이미지를 해석하고, 정책을 적용하고, 서비스 도구를 사용하여 다단계 요청을 해결합니다.
  • 문서 인텔리전스: 복잡한 문서를 해석하고 OCR, 표, 차트, 페이지 레이아웃을 포함하여 정보를 추출하고 요약 또는 보고서를 생성합니다.
  • 엔터프라이즈 생산성: 시각 정보를 해석하고, 이를 추론하며, 도구를 사용하여 다단계 작업을 완료합니다.
  • 비디오 이해: 비디오에서 핵심 정보를 추출하여 검색, 콘텐츠 검토, 광고, 소매, 사고 분석을 지원합니다.
  • 웹 연구: 웹사이트를 검색하고, 여러 소스의 정보를 연결하며, 결과를 검증합니다.

사용 가능 여부

  • Hugging Face에서 BF16 및 NVFP4 형식으로 모델 가중치를 다운로드합니다.
  • vLLM으로 Nemotron 3.5 Super VL을 실행하려면 시작 가이드 쿡북을 참조하세요.

vLLM 블로그 게시물은 NVIDIA 기여자 Nirmal Kumar Juluru, Anusha Pant, Faradawn Yang, Pen Chung Li, Alex Steiner, Ran Zilberstein, Nave Assaf, Amir Klein에게 크레딧을 제공합니다.

Sources