vLLM, NVIDIA Vera Rubin NVL72 지원 추가, 처리량 7.8배 향상

TL;DR

vLLM이 NVIDIA Vera Rubin NVL72 GPU에 대한 공식 지원을 발표했습니다. 이전 세대 GB200 NVL72 대비 GPU당 추론 처리량이 최대 7.8배 향상되었으며, MLPerf에서 Vision-Language Model(VLM) 처리량이 최대 3.7배 향상되었습니다.

Vera Rubin NVL72 개요

  • 컴퓨팅 이점 – NVL72는 GB200 NVL72보다 약 5배 높은 NVFP4 추론 FLOPS를 제공합니다.
  • 메모리 대역폭 – Rubin의 HBM4는 GB200의 HBM3e보다 2.4배 높은 대역폭을 제공합니다.
  • GPU 간 네트워킹 – 6세대 NVLink는 Blackwell 세대보다 1.7배 높은 대역폭을 제공하여 집단 통신 지연 시간을 줄입니다.
  • Softmax 가속 – 지수 처리량이 FP32에서 2배, BF16/FP16에서 4배 빨라져 attention이 더 빠른 GEMM 커널을 따라잡을 수 있습니다.

이러한 하드웨어 개선은 에이전트형 AI 워크로드에 맞춰 설계되었으며 vLLM이 보고한 성능 향상의 기반이 됩니다.

Day-0 호환성

  • Blackwell 계열 커널 – Rubin은 Blackwell 파생 아키텍처(SM107)입니다. vLLM의 기존 Blackwell 커널(SM100f 대상)은 수정 없이 Rubin에서 실행됩니다.
  • 컨테이너 제공 – CUDA 13.4 및 PyTorch 2.15로 빌드된 nightly Docker 이미지가 vllm/vllm-openai:cu134-nightly로 게시되며 Rubin 배포를 위해 바로 가져올 수 있습니다.
  • 모델 지원 범위 – DeepSeek, Kimi, GLM, MiniMax 및 기타 커뮤니티 모델에 대한 즉시 지원이 포함됩니다.

Rubin 튜닝 커널

vLLM은 FlashInfer 0.7.0 및 자체 포크를 통해 여러 Rubin 전용 커널을 통합합니다:

  • Rubin의 텐서 코어 명령에 맞게 튜닝된 Attention, GEMM 및 MoE 커널.
  • Rubin의 지수 연산에 최적화된 MiniMax Sparse Attention(MSA) 프리필 커널.
  • Rubin의 고처리량 FP8 경로를 활용하는 FP8 커널(attention 및 MSA용).

이러한 커널은 FlashInfer, MSA, Humming과 같은 라이브러리에 업스트림되어 생태계 전반에 이점을 제공합니다.

지역 인지 Mixture-of-Experts(MoE)

  • CUDA 13.4 지역 도메인을 통해 SM이 가장 가까운 HBM 영역에서 가중치를 읽을 수 있어 도메인 간 트래픽이 줄어듭니다.
  • Split-N 전략은 MoE 가중치 행렬을 열 방향으로 분할하여 각 샤드를 별도의 지역 도메인에 할당합니다.
  • 성능 영향 – MiniMax M3 MoE 모델에 대한 초기 실험에서 지역 도메인을 활성화하면 212개 SM 중 200개만 활성화된 기본 모드에서도 소규모 토큰 디코딩 속도가 평균 1.2배 향상되었습니다. 백필 모드는 유사한 이점과 함께 전체 SM 활용도를 복원합니다.

이러한 결과는 Rubin의 증가된 메모리 대역폭이 소프트웨어 수준의 메모리 지역성 최적화를 통해 효과적으로 활용될 수 있음을 보여줍니다.

벤치마크 결과

AgentX(SemiAnalysis) – LLM 처리량

  • GPU당 처리량 – Rubin NVL72의 vLLM은 일치하는 상호작용성에서 GB200 NVL72 대비 7.84배의 처리량을 달성합니다.
  • TPS 제한 시나리오 – 150 TPS 제한에서 Rubin은 5.18배 높은 처리량을 제공합니다.

MLPerf Inference v6.1 – Vision-Language Model

  • 모델 – vLLM(백엔드) 및 Dynamo(라우터)를 통해 제공되는 Qwen3-VL-235B-A22B.
  • 처리량 향상 – Rubin NVL72는 오프라인, 서버 및 대화형 모드에서 GB300 NVL72보다 최대 3.7배 높은 처리량을 제공합니다.
  • 참고 – 자세한 결과는 Rubin의 MLPerf 성능에 대한 NVIDIA 블로그 게시물에 게시되어 있습니다.

이러한 초기 수치는 Rubin의 아키텍처 업그레이드가 텍스트 전용 및 멀티모달 워크로드 모두에서 실질적인 실제 추론 속도 향상으로 이어짐을 확인합니다.

로드맵 및 향후 최적화

vLLM 커뮤니티는 Rubin의 기능을 더욱 활용하기 위해 몇 가지 다음 단계를 계획하고 있습니다:

  • FlashInfer의 sm107 MegaMoE 커널 통합.
  • 모든 MoE 레이어에 대해 지역 도메인 완전 활성화.
  • PDL 및 Lamport Sync를 사용한 커널 오버랩으로 지연 시간 숨기기.
  • 지연 시간에 민감한 서빙을 위한 메가 커널 개발.
  • Kimi K3용 KDA/MLA 커널 및 DeepSeek-V4.1-Flash용 Rubin 전용 CSA/HCA 커널 최적화.
  • Rubin 전용 MSA 디코드 커널 및 FlashInfer를 통한 CFT counted-write MoE all-to-all 커널 완성.

NVIDIA, Inferact, Red Hat 및 더 넓은 vLLM 커뮤니티 간의 지속적인 협력이 이러한 개선을 주도할 것입니다.

시작하기

  1. Rubin 호환 nightly 이미지를 가져옵니다:
    docker pull vllm/vllm-openai:cu134-nightly
  2. 적절한 백엔드 플래그(예: --linear-backend flashinfer_cutedsl, --moe-backend flashinfer_cutedsl)로 vLLM을 시작합니다.
  3. 전체 SM 활용이 필요한 경우 cudaDevSmResourceGroupBackfill=1을 설정하여 지역 도메인을 활성화합니다.

Rubin 지원에 대한 저장소의 PR 참조에는 #55953, #53443, #54640, #56545 및 #59288이 포함됩니다.

감사의 말

이번 릴리스는 NVIDIA, Inferact, Red Hat 및 vLLM 커뮤니티의 공동 노력을 반영합니다. 초기 하드웨어 액세스를 제공하고, Rubin 전용 커널 튜닝에 기여하고, 일일 Docker 빌드를 유지 관리한 엔지니어들에게 특별히 감사드립니다.

부록: 커널 구성 치트시트

커널 활성화 플래그 참고
Dense NVFP4 / MXFP4 GEMM --linear-backend flashinfer_cutedsl(NVFP4) 또는 flashinfer_cutlass(MXFP4) 일치하는 체크포인트의 기본값
NVFP4 MoE --moe-backend flashinfer_cutedsl
배치 전문가 형식 MoE(W4A4) `--enable-expert-parallel --data-parallel-size N --all2all-backend deepep_low_latency nixl_ep`
FP8 BMM(정적 per-tensor) FlashInfer를 통한 자동 튜닝
FP8 attention(TRT-LLM) --kv-cache-dtype fp8 + `--attention-backend FLASHINFER FLASHINFER_MLA`
FP8 MSA 프리필 --attention-config.minimax_m3_msa_decode_backend=cutlass

이러한 플래그는 위에서 설명한 성능 향상을 제공하는 Rubin 최적화 경로를 노출합니다.

Sources