NVIDIA Vera Rubin NVL72에서 DeepSeek-V4.1-Flash, GB300 대비 58배 높은 처리량 달성
TL;DR
vLLM은 단일 NVIDIA Vera Rubin NVL72 랙에서 DeepSeek-V4.1-Flash를 GPU당 1.7M tokens/s로 실행하며(각 사용자는 387 tokens/s를 확인, GB300 NVL72 기준 대비 58배 개선), 전체 피크는 2.52M tokens/s에 달합니다. 이는 Rubin 특화 커널 최적화, 전용 TP-8 디코드 경로, 랙 규모 KV-캐시 및 Engram 풀링을 활용한 결과입니다.
하드웨어 컨텍스트: Vera Rubin NVL72
Rubin NVL72 서버는 최적화를 결정짓는 세 가지 아키텍처 기능을 도입합니다:
- GPU당 이중 메모리 도메인 – 각 SM은 자체 도메인을 다른 도메인보다 훨씬 빠르게 읽을 수 있어, 대역폭 중심 데이터(MoE 가중치, LM 헤드, MegaMoE 버퍼)는 배치 위치에 매우 민감합니다.
- SM107의 더 넓은 블록 스케일 MMA 명령어 – 새로운 K64 혼합 정밀도(FP8×FP4) 및 K128 FP4 MMA는 명령어당 작업량을 두 배로 늘려 MegaMoE, 어텐션 및 MQA-로짓 커널의 GEMM을 가속화합니다.
- 72개 GPU가 단일 NVLink 도메인 공유 – 두 트레이에 걸친 텐서 병렬화(TP)는 사실상 추가 올-리듀스 비용이 없으며, 프리필 인스턴스는 서로의 HBM을 직접 읽어 중복 가중치 복사를 제거합니다.
이러한 특성 덕분에 아래 보고된 극적인 처리량 향상이 가능합니다.
Rubin을 위한 핵심 커널 재작성
DEP 프리필 커널 – 단계당 약 28% 빨라짐
- MegaMoE 타일링은 이제 로컬 토큰 수와 DP 평균 토큰 수 중 더 큰 값을 따르므로, 40단계 리플레이에서 MegaMoE 시간이 55% 단축되고 8K–32K 토큰에 대한 단일 요청 TTFT(첫 토큰까지의 시간)가 13–39% 감소합니다.
- Mega-mHC 잔차 스트림은 두 메모리 도메인에 걸쳐 스트라이프된 다이-로컬 풀에 상주하며, 각 SM은 다른 도메인을 돕기 전에 자체 도메인을 먼저 소진하여 32K 토큰에서 호출 지연 시간을 354µs → 317µs로 줄입니다.
- MegaAttn 쿼리 GEMM은 cuDNN(SM100)에서 SM107의 K64 MMA의 FlashInfer CuTe DSL로 이동하여 4K–32K 행에서 13–18% 속도 향상을 제공합니다.
- 파이프라인 친화적 어텐션은 QK보다 먼저 SV를 발행하고, 인덱스 행을 L2로 프리페치하며, 각 TMEM 레인이 자체 키를 스코어링하여 16K–32K 토큰에서 15% 더 빠른 커널을 생성합니다.
- Mega-mHC용 티켓 작업 링은 고정 스트라이드를 원자적 티켓 카운터로 대체하여 32K 토큰에서 대형 그리드 성능을 18% 향상시킵니다.
- MegaGate 경쟁자 필터링은 여전히 상위 6위 안에 들 수 있는 전문가에 대해서만 sqrt-softplus를 평가하여 4K 토큰에서 커널 시간을 3–13% 단축합니다.
DEP 디코드 커널 – 단계당 약 25% 빨라짐
- 다이-로컬 MegaMoE 가중치는 전문가 열을 메모리 도메인에 분할하여 배치 크기 32에서 10.1%, 배치 크기 168에서 5.5% 속도 향상을 제공합니다.
- 와이드-EP 디스패치는 NVLink 왕복을 토큰당 1회로 줄여 DEP8에서 MegaMoE 포워드 시간을 17% 개선합니다.
- 배리어 없는 결합은 센티널 버퍼를 사용하여 각 CTA가 GEMM이 끝나는 즉시 결합하므로 디코드 속도가 3.5–10.8% 추가 향상됩니다.
- Split-K GEMM은 K를 SM107 클러스터에 분산하여 어텐션 프로젝션을 10–38%, 전체 디코드 포워드를 최대 3.1% 가속화합니다.
- MQA 로짓 커널은 5–6개의 쿼리 행을 단일 192폭 타일에 패킹하고 SM107의 K128 MMA를 사용하여 15–22% 더 빠른 실행을 달성합니다.
- Split Mega-mHC는 중요한 Post, 경로 붕괴 및 RMSNorm 단계만 분리하여 2–4.8% 디코드 이득을 제공합니다.
- 더 깊은 어텐션 파이프라인은 3개의 인덱스 로드 블록과 4개의 수집 배치를 동시에 유지하여 7–10% 더 빠른 디코드 커널을 생성합니다.
저지연 TP-8 디코드 경로
전용 디코드 파이프라인은 사용자당 최소 지연 시간을 목표로 합니다:
- 두 트레이에 걸친 TP-8은 GPU당 가중치 읽기를 절반으로 줄이면서 NVLink 페널티는 0.3µs에 불과하여 35% 단계 시간 단축을 제공합니다.
- SM107의 K64 MMA에서 패킹된 FP4 가중치 스테이지는 스테이지 수를 7에서 11로 늘려 단계당 57µs를 절약합니다.
- 다이-로컬 LM 헤드는 SM당 가중치의 절반만 스트리밍하여 교차 도메인 지연을 제거합니다.
- 올-리듀스 + mHC 융합은 GEMM 에필로그를 Lamport 사서함에 직접 게시하여 단계당 30µs를 절약합니다.
- 희소 MLA는 랭크당 8-헤드 커널을 실행하며, 조기 KV-캐시 삽입 및 융합 RoPE는 지연 시간을 16–21µs 줄입니다.
- 라우팅된 GEMM 내 공유 전문가는 ≤16행 레이어의 MoE 테일을 GEMM으로 이동하여 단계당 220µs를 절약합니다.
- 조기 커널 실행 및 레이어 스트림의 Engram 올-개더는 단계당 추가로 40µs를 절약합니다.
결과: 단일 사용자 워크로드(배치 1)에서 전용 경로는 GB300 기준 1,117 tokens/s에서 1,810 tokens/s(P90)에 도달합니다.
Dynamo 워크로드 인지 라우팅 및 랙 규모 메모리 풀
Rubin의 속도는 훨씬 더 높은 동시성을 가능하게 하여 랭크별 KV 캐시의 한계를 드러냅니다. vLLM은 랭크별 CPU 계층을 세 가지 공유 풀로 대체합니다:
- Mooncake KV 풀 – 모든 프리필/디코드 트레이에 걸친 DRAM 전체 저장소입니다. 모든 랭크는 RDMA를 통해 프리픽스를 로드할 수 있어 이동된 요청을 전체 재계산 대신 KV 로드로 전환합니다. 보류 중인 조회로 인해 채워지지 않은 프리필 단계는 **6–14%**에서 **<0.5%**로 감소합니다.
- HBM 풀 – 각 GPU의 여유 HBM은 Mooncake 저장소에 노출되어 KV 풀을 DRAM 이상으로 확장하고 나머지 GPU 메모리를 다른 랭크에 사용할 수 있게 합니다.
- Engram 풀 – 두 개의 94.4GiB 해시 n-그램 테이블은 피어 그룹의 HBM(GPU당 약 10.5GiB)에 분할되어 호스트 메모리 대신 NVLink를 통해 액세스되므로 호스트 RAM을 약 1,500개의 추가 세션에 사용할 수 있습니다.
워크로드 인지 라우팅(Dynamo)은 이제 각 요청을 캐시되지 않은 작업이 가장 적은 랭크에 할당하여 세션 선호도로 인한 DP 불균형을 제거합니다. 4,800 동시성 시뮬레이션에서 결합된 풀과 라우팅은 다음을 제공합니다:
- 초당 요청 수 68% 증가
- TTFT P50이 29.8초 → 4.2초로 감소
- 히트율이 **91.8% → 96.1%**로 개선
- 유휴 랭크 시간이 **10.3% → 1.3%**로 단축
성능 요약
| 지표 | Vera Rubin NVL72 | GB300 NVL72 | 속도 향상 |
|---|---|---|---|
| GPU당 tokens/s (전체) | 1.7M | 29k | 58× |
| 사용자당 tokens/s (일반) | 387 | 6.7 | 58× |
| 랙 전체 피크 처리량 | 2.52M | 43k | 58× |
| 저지연 사용자당 속도 (TP-8) | 1,810 tokens/s | 1,117 | 1.6× |
모든 수치는 실제 에이전트 서빙 워크로드를 반영하는 SemiAnalysis AgentX 벤치마크로 측정되었습니다.
시사점
- 스케일 아웃 서빙 – Rubin 최적화 스택은 단일 NVL72 랙이 고처리량 LLM 서빙을 위해 수십 대의 구형 랙을 대체할 수 있음을 보여주며, 하드웨어 설치 공간과 전력 소비를 획기적으로 줄입니다.
- 지연 시간 중요 애플리케이션 – TP-8 경로는 사용자당 2k tokens/s 미만의 속도를 입증하여 대규모에서 반응형 채팅 또는 도구 호출 인터페이스를 가능하게 합니다.
- 메모리 중심 라우팅 – 랙 전체 KV 및 Engram 풀과 Dynamo의 워크로드 인지 라우팅을 결합하면 랭크별 세션 고정의 필요성이 제거되어 오케스트레이션이 단순해지고 활용도가 향상됩니다.
- 향후 하드웨어 – 최적화는 Rubin의 이중 도메인 메모리와 SM107 MMA에 크게 의존합니다. 유사한 메모리 지역성과 혼합 정밀도 텐서 코어를 노출하는 향후 GPU에서도 유사한 이득이 기대됩니다.
감사의 말
DeepSeek-V4.1-Flash를 오픈소스로 공개한 DeepSeek, Vera Rubin NVL72에 대한 조기 액세스를 제공한 NVIDIA, KV 저장소를 제공한 Mooncake 팀에 감사드립니다. 커널 작업에 협력해 주신 Hanjie Qiu, Lisa Wang, Jie Hao, Yaoyao Ding, Pei Li, Xin Li, Pen Chung Li에게 특별히 감사드리며, AgentX 벤치마크를 제공한 SemiAnalysis에도 감사드립니다.
각주
- DEP2, DEP16, DEP32는 각각 2, 16, 32개 GPU에 걸친 데이터 병렬 어텐션 및 전문가 병렬 처리를 나타냅니다.