vLLM MiniMax-M3.1-Flash Day-0 지원: NVFP4 MSA 커널, MegaMoE, 에이전틱 벤치마크

vLLM은 NVIDIA Blackwell, NVIDIA Rubin, AMD MI350 시리즈 GPU에서 MiniMax-M3.1-Flash에 대한 Day-0 지원을 제공했습니다. NVFP4 커널, 융합 QKV 파이프라인, 에이전틱 서빙 워크로드에 맞게 조정된 추측 디코딩이 포함됩니다. 이번 릴리스는 저정밀 추론이 얼마나 발전했는지 보여주기 때문에 중요합니다. MiniMax-M3.1은 NVFP4 KV 캐시에 대한 양자화 인식 훈련을 거쳤으며, vLLM의 커널은 이를 활용하여 동일한 하드웨어에서 이전 세대보다 약 2.7배 더 많은 동시 시퀀스를 수용합니다.

vLLM이 발표한 내용

vLLM은 세 가지 하드웨어 제품군에서 MiniMax-M3.1-Flash에 대한 Day-0 서빙 지원을 제공합니다: NVIDIA Blackwell GPU, NVIDIA Rubin GPU(전용 Rubin 커널 포함), AMD MI350 시리즈 GPU. 두 벤더 모두 사전 빌드된 이미지가 게시되어 있으며, 릴리스의 초점은 에이전틱 워크로드의 성능입니다.

MiniMax-M3.1-Flash는 MiniMax-M3 제품군의 최신 모델로, 추론, 코딩, 에이전틱, 시각 작업 전반에 걸쳐 개선되었습니다. 또한 기본 NVFP4 KV 캐시, NVFP4 양자화 MoE 가중치, 추측 디코딩용 DSpark 드래프트 모델을 결합하여 추론 효율성을 위해 설계되었습니다.

vLLM이 나열한 주요 최적화는 다음과 같습니다:

MiniMax Sparse Attention (MSA) - 인덱서와 어텐션 경로 모두에 NVFP4 KV 캐시를 사용하며, NVFP4 MoE 가중치와 DSpark 드래프터를 포함합니다.
Blackwell MSA 커널 - CUDA 13.4 QMUL4 명령어를 사용하여 커널 내에서 NVFP4를 FP8로 역양자화합니다. 인덱서 QK 디코드 최대 1.7배, 희소 어텐션 디코드 최대 1.3배 빨라집니다.
NVFP4 MegaMoE - MXFP8 공유 전문가 융합 및 조기 TMEM 해제: 프리필 커널 지연 시간 20% 감소, 프리필 처리량 7% 증가.
인덱서 디코드 컨텍스트 병렬 처리 (DCP): 4× GB300에서 512K 컨텍스트에서 희소 레이어당 인덱서 최대 3.3배 빠름.
QKV GEMM + norm + RoPE + KV 삽입 융합: 512개 이상의 토큰 프리필 1.1–1.6배 빠르고, TP4에서 P50 TTFT 약 19% 감소.
DSpark 드래프터 어텐션용 FlashInfer PrimiTS 백엔드: FlashAttention 4보다 1.3–2배 빠르고 전체 정방향 시간 5% 감소.
Rubin (SM107) MSA 커널 - 최첨단 성능으로 vLLM에 통합.
AMD MI350 시리즈: NVFP4 네이티브 MSA 커널, 인덱서 DCP, 이중 배치 오버랩, 모노 커널이 전반적으로 2–3배 성능 향상을 제공합니다.
Day-0 RL 지원: NVFP4 체크포인트에서 veRL, FSDP2, LoRA를 사용한 엔드투엔드 RL.

MiniMax Sparse Attention 작동 방식

MiniMax-M3 모델 제품군은 추론 효율성을 높이기 위해 전체 어텐션을 블록 희소 어텐션 변형으로 대체합니다. KV 캐시는 128개 토큰 블록으로 분할됩니다. 경량 인덱서는 GQA 그룹당 하나의 인덱스 쿼리로 공유 인덱스 키 헤드에 대해 컨텍스트의 모든 키를 점수화한 다음, 해당 점수를 블록당 하나의 점수로 최대 풀링합니다. 메인 어텐션은 상위 16개 블록에 대해서만 정확하게 실행되며, 가장 최근 블록은 항상 유지됩니다. 이렇게 하면 컨텍스트 길이에 관계없이 각 쿼리가 2,048개 키로 제한됩니다.

가장 큰 이점은 메모리 대역폭에 의해 제한되는 디코드에서 나타납니다. 각 단계는 여전히 전체 컨텍스트에 대한 인덱스 키를 스캔하지만, 레이어당 토큰당 128바이트에 불과하며, 이는 밀집 어텐션이 읽는 K/V 1,024바이트(FP8, 4개 KV 헤드 × 128차원)의 8분의 1입니다. 그런 다음 선택된 2,048개 토큰에 대해서만 전체 K/V를 읽습니다. 긴 컨텍스트 디코드에서 단계별 HBM 트래픽은 밀집 어텐션이 읽는 양의 약 12.5%로 줄어듭니다.

MiniMax-M3.1 아키텍처 변경 사항

MiniMax-M3.1은 이전 세대보다 추론 효율성을 크게 개선했습니다. NVFP4 KV 캐시에 대해 기본적으로 양자화 인식 훈련을 받았으며, 라우팅된 MoE 가중치는 NVFP4로 저장됩니다.

메모리 절약 효과는 구체적입니다:

NVFP4 전문가는 체크포인트를 451.5GB (MiniMax-M3-MXFP8)에서 250.1GB로 줄여 44.6% 더 작아졌습니다.
NVFP4 KV 캐시는 FP8의 61,440바이트 대신 토큰당 34,560바이트가 필요하며, 토큰당 43.75% 절약됩니다.
종합하면, 4개의 NVIDIA B300 GPU에 DEP4 배포와 256K 토큰 시퀀스에서 M3.1은 76개의 동시 시퀀스를 수용하는 반면, FP8 KV 캐시가 있는 M3는 28개를 수용합니다 — 동일한 하드웨어에서 약 2.7배 많은 시퀀스를 처리할 수 있어 서빙 처리량이 직접적으로 향상됩니다.

NVIDIA Blackwell MSA 커널 최적화

CUDA 13.4 QMUL4 명령어로 NVFP4를 FP8로 역양자화

KV 캐시는 NVFP4로 저장되는 반면 쿼리는 FP8로 유지되므로, 기본 NVFP4 텐서 코어 명령어는 행렬 곱셈에 사용할 수 없습니다. 대신 커널은 NVFP4 KV 캐시를 FP8로 역양자화하고 FP8 MMA를 실행합니다.

역양자화 비용을 낮게 유지하기 위해 vLLM은 CUDA 13.4에 도입된 새로운 Blackwell 전용 PTX 명령어 mul.e4m3x4.e2m1x4.e4m3x4 (SASS QMUL4)를 사용합니다. 이 명령어는 4개의 NVFP4 값을 스케일 팩터로 스케일링하고 단일 명령어로 4개의 FP8 값을 생성합니다. 이전 FP16 왕복 경로보다 훨씬 적은 CUDA 코어 명령어를 사용합니다. 그 결과 인덱서 QK 디코드 커널에서 최대 1.7배, 희소 어텐션 디코드 커널에서 1.3배 속도 향상을 보입니다.

NVFP4 MegaMoE

MegaMoE는 최신 전문가 병렬 처리(EP) 배포의 핵심 구성 요소입니다. vLLM은 DeepGEMM의 MegaMoE를 융합 MXFP8 공유 전문가와 함께 NVFP4 정밀도로 확장했으며, 프로젝트 포크 vllm-project/DeepGEMM에서 오픈소스로 공개했습니다.

MegaMoE에 NVFP4 지원을 추가하는 것은 dtype 변경 그 이상입니다. NVFP4는 이전 FP8×FP4 경로에 비해 요소당 바이트를 절반으로 줄이고 텐서 코어 처리량을 두 배로 늘리므로, 파이프라인의 균형이 맞지 않으면 커널의 나머지 부분도 변경해야 합니다.

이러한 변경 중 하나는 FC1 에필로그에서 TMEM 스테이지를 조기에 해제하는 것입니다. 이전에는 에필로그가 끝난 후에만 TMEM 스테이지를 해제했습니다. 에필로그는 전적으로 레지스터에서 실행되므로, 누산기가 레지스터에 로드되는 즉시 TMEM을 해제할 수 있어 이 대기는 불필요합니다. 이로 인해 NVFP4 컴퓨팅이 가장 중요한 프리필에서 총 커널 지연 시간이 20% 단축되고 전체 프리필 처리량이 7% 향상됩니다.

NVFP4 인덱서 디코드 컨텍스트 병렬 처리 (DCP)

저지연 서빙에서 각 GPU는 전체 컨텍스트에 대해 자체 인덱스 헤드를 점수화합니다. 4개의 GPU에서 인덱서 레이어마다 전체 인덱스 캐시를 4번 읽는다는 의미입니다.

인덱서 DCP는 대신 컨텍스트별로 작업을 분할합니다. 각 GPU는 페이지의 1/4에 대해 4개의 헤드를 모두 점수화합니다. 그런 다음 각 헤드에 대한 로컬 상위 16개를 NVLink를 통해 해당 헤드를 소유한 GPU로 보내고, 최종 상위 16개로 후보를 병합합니다. 선택은 정확하게 유지되며, 4× NVIDIA GB300 GPU에서 512K 컨텍스트에서 희소 레이어당 인덱서가 최대 3.3배 빨라집니다.

QKV GEMM + norm + RoPE + KV 삽입 융합

MiniMax-M3.1의 QKV 및 인덱서 프로젝션은 이전에 전체 QKV 텐서를 HBM에 기록했습니다. 두 번째 커널이 norm, RoPE, KV 캐시 삽입을 위해 이를 다시 읽었습니다.

vLLM은 전체 체인을 단일 GEMM 커널로 융합했으며, 에필로그는 FP32 누산기를 헤드별로 처리합니다. 쿼리 및 인덱스 쿼리에 norm과 RoPE를 적용합니다. 또한 K, V 및 인덱스 키를 NVFP4로 양자화하고 캐시에 직접 기록합니다. QKV 텐서는 HBM에 닿지 않습니다. GB300에서 512개 이상의 토큰 프리필 배치는 1.1–1.6배 빠르게 실행되며, TP4에서 P50 TTFT(Time-to-First-Token)는 약 19% 감소합니다.

DSpark 드래프터용 FlashInfer PrimiTS

MiniMax-M3.1은 추측 디코딩 드래프터로 DSpark를 사용하며, 4096 토큰 슬라이딩 윈도우로 비인과 GQA를 실행합니다. 이전에 vLLM은 디코드 형태에 최적화되지 않은 FlashAttention 4에서 드래프터를 실행했습니다. vLLM은 이를 FlashInfer의 PrimiTS 백엔드로 전환했습니다. PrimiTS는 FlashAttention 4보다 1.3–2배 빠르며 전체 정방향 시간을 5% 단축합니다.

NVIDIA Rubin MSA 커널

NVIDIA Rubin GPU에서 vLLM은 NVFP4-to-FP8 변환 오버헤드를 완화하도록 모델을 최적화했습니다. 인덱서의 경우 NVFP4를 FP16으로 직접 변환하고 FP16으로 점수 MMA를 실행합니다. 이렇게 하면 역양자화 명령어가 약 1/3로 줄어들고, 점수는 FP8 MMA를 실행하는 데 필요한 E4M3 재반올림을 수행하지 않고 정확해집니다.

≤4개 쿼리에서 단일 헤드 인덱서 디코드 커널은 더 나아가 SM107의 패킹된 fma.rn.f32x2.f16x2를 사용하여 K 값당 한 번이 아니라 MMA 결과당 각 블록 스케일을 한 번 적용합니다. 또한 SM당 3개의 CTA를 실행하여 더 많은 대기 시간을 숨길 수 있습니다. Rubin의 더 큰 공유 메모리(Blackwell의 228KB 대비 328KB)와 추가 텐서 메모리 열(Blackwell의 512 대비 576)이 이를 가능하게 합니다.

Rubin은 Blackwell보다 SM이 많기 때문에 작업 플래너는 SM 수에 따라 타일 크기를 조정하여 Rubin의 212개 SM 전체에 작업이 균등하게 분산됩니다.

프리필 희소 어텐션은 로컬리티 도메인 최적화의 이점도 얻습니다. vLLM은 CUDA 가상 메모리 API를 통해 부분 버퍼를 할당하여 2MB 페이지가 두 도메인을 번갈아 사용하도록 하고, 결합 커널은 각 타일을 해당 타일의 데이터를 보유한 도메인에 있는 SM의 CTA에 할당합니다. Rubin에서 프리필 및 디코드 어텐션 커널은 명령어당 K=64인 밀집 FP8 MMA를 사용하여 MMA 명령어 수를 절반으로 줄이고 Blackwell의 FP8 속도의 두 배로 실행됩니다.

AMD MI350 시리즈 지원

AMD GPU에서 vLLM은 NVFP4 KV 캐시 지원을 제공하여 AMD 배포도 저정밀 형식을 사용하여 KV 캐시 메모리를 줄일 수 있습니다. 디코드의 경우 인덱서 DCP를 추가하여 긴 컨텍스트 디코드를 가속화하고, 저지연 추론을 가속화하는 모노 커널을 추가합니다. 프리필의 경우 시퀀스 병렬 처리와 이중 배치 오버랩이 엔진 내 통신을 줄이고, 새로운 KV 캐시 레이아웃을 통해 각 KV 블록이 단일 전송으로 디코드 노드로 이동할 수 있습니다. MSA 및 모노 커널은 AMD의 GPU 커널용 Python DSL인 FlyDSL로 구축되었으며, FlyDSL 팀의 도움을 받았습니다.

테이블 조회를 통한 NVFP4 MSA 커널

MiniMax-M3.1은 메인 어텐션과 인덱서 모두에 대해 NVFP4 KV 캐시(QAT)로 훈련되었지만, CDNA4에는 NVFP4를 역양자화하는 기본 명령어가 없습니다. MSA 커널을 빠르게 유지하기 위해 vLLM은 역양자화를 테이블 조회로 전환합니다. 가능한 E4M3 스케일은 256개, E2M1 크기는 8개뿐이므로 커널은 모든 스케일된 값을 FP8로 이미 반올림하여 LDS의 2KB 테이블에 미리 계산합니다. 하나의 v_perm_b32 바이트 순열과 부호 비트용 XOR 하나로 4개의 FP4 값을 FP8로 변환합니다. 커널은 또한 공유 접두사 페이지를 최대 64개의 공유 요청에 대해 한 번만 역양자화합니다. 이를 통해 선택된 블록을 FP8로 변환하고 FP8 어텐션 커널을 실행하는 것보다 희소 디코드 어텐션이 최대 2.5배 빨라집니다.

CDNA4의 NVFP4 인덱서 DCP

AMD에서도 NVIDIA와 동일한 인덱서 디코드 컨텍스트 병렬 처리가 사용되며, CDNA4에서는 추가 이점을 제공합니다. DCP가 없으면 TP4의 각 GPU는 전체 컨텍스트에 대해 자체 인덱스 헤드를 점수화하므로 인덱스 캐시를 4번 읽습니다. 또한 매트릭스 코어를 충분히 활용하지 못합니다. DSpark-3 디코드 단계에는 요청당 쿼리 행이 4개뿐이며, 16×16×128 FP8 MFMA의 16개 열 중 4개만 채웁니다.

DCP를 사용하면 각 GPU는 컨텍스트의 1/4에 대해 4개의 헤드를 모두 점수화하므로 4개 헤드 × 4개 행이 16개 열을 모두 채웁니다. 단일 커널이 인덱스 쿼리를 교환하고, 블록을 점수화하며, 각 헤드의 점수를 Infinity Fabric을 통해 소유 GPU의 메모리에 직접 기록합니다. 디바이스 측 핸드셰이크는 HIP 그래프 내에서 이 작업이 계속 작동하도록 합니다. 소유자는 이전과 같이 상위 16개를 선택하며, 점수가 단일 GPU 버전과 비트 단위로 동일하므로 선택은 정확합니다. 4× MI355X에서 인덱서는 30K–210K 토큰의 45개 요청에 대해 희소 레이어당 최대 2.8배 빠릅니다.

시퀀스 병렬 처리, 이중 배치 오버랩, 단일 읽기 KV 전송

TP4에서 MI355X의 긴 프롬프트 프리필은 노드 내 GPU 간 통신과 프리필 및 디코드 노드 간 통신 모두에 의해 제한됩니다. 엔진 내부에서 이중 배치 오버랩(DBO)은 다른 마이크로배치의 컴퓨팅 뒤에 텐서 병렬 집합체를 숨깁니다. 시퀀스 병렬 처리(SP)는 트래픽 자체를 줄입니다. 각 GPU는 토큰의 1/4을 유지하고, 어텐션 출력은 MXFP8로 all-to-all 교환되므로 각 GPU는 자체 토큰에 대해 전체 o_proj를 실행하고, MoE 출력은 reduce-scatter됩니다. 이로 인해 GPU당 트래픽이 레이어당 토큰당 약 36KB에서 20KB로 줄어들고, norm, 양자화, 라우터는 토큰의 1/4에 대해서만 실행됩니다.

더 빠른 프리필 엔진은 KV 캐시가 디코드 노드에 빠르게 도달할 수 있을 때만 유용합니다. vLLM의 레이어별 KV 캐시 레이아웃은 각 KV 블록을 125개의 작은 페이지로 분할하며, 각 페이지는 자체 NIXL RDMA 읽기가 필요합니다. vLLM은 각 블록을 하나의 연속된 1.82MB 행에 저장하는 블록 외부 레이아웃으로 전환하여 NIXL이 단일 읽기로 이동할 수 있게 했습니다. 엔진과 KV 전송 변경을 결합하여 4× MI355X에서 16K+ 토큰 프리필 배치가 1.8–2.1배 빨라집니다.

저지연 모노 커널

낮은 동시성에서 AMD GPU의 디코드는 런칭에 제한적입니다. 커널 런칭 오버헤드가 계산보다 더 많은 시간이 걸립니다. 모노 디코드는 각 희소 MoE 디코더 레이어를 단일 FlyDSL 커널 런칭으로 실행하여 이 문제를 해결합니다. 이 단일 런칭은 QKV 프로젝션과 희소 어텐션부터 텐서 병렬 all-reduce 및 MXFP4 MoE까지 모든 것을 포함하여 약 1,170개의 커널 런칭을 대체합니다. MI350X TP4에서 디코드 단계가 최대 2.3배 빨라지고 낮은 동시성에서 8K 입력/1K 출력 처리량이 두 배가 됩니다. 에이전틱 코딩 추적에서 인터랙티비티가 50–65% 향상됩니다.

에이전틱 서빙 벤치마크

NVIDIA GB300

vLLM은 NVIDIA GB300에서 SemiAnalysis AgentX 벤치마크로 Day-0 이미지를 벤치마킹했습니다. 프런티어의 지연 시간에 민감한 끝에서 MiniMax-M3.1-Flash는 사용자당 초당 418.9 토큰을 유지합니다. 프런티어를 따라 더 나아가 각 사용자를 초당 200 토큰 이상으로 유지하면서 GPU당 초당 38.6K 총 토큰을 서빙합니다. 처리량 끝에서는 GPU당 초당 153.8K 토큰에 도달하며, 가장 인터랙티브한 지점보다 약 24배 많지만 각 사용자는 여전히 초당 약 127 토큰을 봅니다.

GB300 측정에는 7개의 추측 토큰과 3.16–3.26 토큰(첫 번째 토큰 포함)의 합성 수용 길이가 사용되었습니다.

NVIDIA Rubin

NVIDIA Rubin에서 MiniMax-M3.1-Flash는 동일한 벤치마크에서 프런티어를 더욱 확장합니다. 지연 시간에 민감한 끝에서 사용자당 초당 724.9 토큰을 유지합니다. 프런티어를 따라 더 나아가 각 사용자를 초당 200 토큰 이상으로 유지하면서 GPU당 초당 157.3K 총 토큰을 서빙합니다. 처리량 끝에서는 GPU당 초당 191.5K 토큰에 도달하며 각 사용자는 여전히 초당 약 134 토큰을 봅니다. 이는 동일한 사용자당 속도에서 GB300의 약 1.5배입니다.

AMD MI355X

InferenceX AgentX 벤치마크에서 MiniMax-M3.1-Flash는 프런티어의 지연 시간에 민감한 끝에서 사용자당 초당 331.0 토큰을 유지합니다. 프런티어를 따라 더 나아가 각 사용자를 초당 170 토큰 이상으로 유지하면서 TCO 달러당 34.6M 총 토큰을 제공합니다. 비용 효율적인 끝에서는 달러당 133.3M 토큰에 도달하며, 가장 인터랙티브한 지점보다 거의 10배 많지만 각 사용자는 여전히 초당 약 79 토큰을 봅니다.

AMD 측정의 경우 c1 및 c4 지점은 7개의 추측 토큰과 함께 3.2 토큰의 합성 수용 길이를 사용합니다. 다른 지점은 3개의 추측 토큰과 함께 2.45 토큰을 사용합니다.

Day-0 RL 지원

vLLM은 NVFP4 체크포인트에서 시작하여 MiniMax-M3.1에 대한 RL을 실행하고 rank-32 LoRA 어댑터만 훈련합니다. veRL 트레이너는 엔진이 서빙하는 것과 동일한 방식으로 기본 모델을 양자화하며, 라우팅된 전문가에는 NVFP4, 다른 프로젝션에는 MXFP8을 사용하고, 각 단계 후 어댑터만 엔진에 동기화합니다. 엔진 측에서 전문가 LoRA는 FlashInfer의 TRTLLM NVFP4 MoE 커널 내부에서 실행되므로 기본 전문가는 일반 서빙 커널에서 계속 실행됩니다.

훈련 전에 vLLM은 트레이너와 엔진이 세 가지 방식으로 일치하는지 확인했습니다: 엔진은 트레이너가 보낸 정확한 가중치를 수신하고, 둘 다 각 토큰을 동일한 전문가로 라우팅하며(라우팅 재생), 둘 다 동일한 토큰에 유사한 logprobs를 할당합니다.

나머지 차이는 토큰 수준 중요도 샘플링(TIS)으로 수정되며, 중요도 비율은 2로 제한됩니다. 각 배치가 단일 옵티마이저 단계를 받기 때문에 트레이너는 롤아웃 logprobs를 이전 logprobs로 사용하고 이를 다시 계산하는 추가 정방향 패스를 건너뜁니다.

16개의 GB300 GPU에서 DAPO-Math-17K로 200 GRPO 단계는 AIME-2024 정확도를 36.3%에서 67.5%로 끌어올립니다. 동일한 실행에서 훈련 보상은 −0.06에서 0.67로 상승하고, 훈련/롤아웃 KL은 낮게 유지되어 0.040에서 0.024로 감소합니다.

빠른 시작

두 벤더 모두 사전 빌드된 이미지를 사용할 수 있습니다:

NVIDIA: vllm/vllm-openai:minimax-m31-flash
AMD: vllm/vllm-openai-rocm:minimax-m31-flash

코드가 검토되고 업스트림에 병합된 후에만 모델을 nightly PyPI 휠에서 사용할 수 있으며, 일반적으로 약 일주일이 걸립니다. 전체 레시피는 vLLM Recipes에 있고, 체크포인트는 MiniMaxAI/MiniMax-M3.1-Flash에 있습니다.

NVIDIA TP4

vLLM은 최상의 성능을 위해 CUDA 13.4 툴킷을 권장합니다.

vllm serve MiniMaxAI/MiniMax-M3.1-Flash \
  -tp 4 \
  --reasoning-parser minimax_m3 \
  --block-size 128 \
  --kv-cache-dtype nvfp4 \
  --attention-config '{"indexer_kv_dtype": "nvfp4"}' \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"attention_backend":"FLASHINFER_TS","kv_cache_dtype":"fp8","draft_sample_method":"probabilistic"}' \
  --disable-hybrid-kv-cache-manager

AMD TP4

vllm serve MiniMaxAI/MiniMax-M3.1-Flash \
  -tp 4 \
  --reasoning-parser minimax_m3 \
  --block-size 128 \
  --kv-cache-dtype nvfp4 \
  --attention-config '{"indexer_kv_dtype": "nvfp4", "indexer_decode_cp": true}' \
  --quantization-config.moe mxfp8 \
  --speculative-config '{"method":"dspark","num_speculative_tokens":3,"attention_backend":"TRITON_ATTN","kv_cache_dtype":"fp8","draft_sample_method":"probabilistic"}' \
  --disable-hybrid-kv-cache-manager

이번 릴리스가 중요한 이유

MiniMax-M3.1-Flash는 양자화 인식 훈련이 서빙 레이어에서 성과를 거두는 사례 연구입니다. 모델이 사후 양자화가 아닌 NVFP4 KV 캐시용으로 훈련되었기 때문에 vLLM은 인덱서와 희소 어텐션 경로 모두에 NVFP4를 사용할 수 있고, 체크포인트를 44.6% 줄일 수 있으며, FP8 KV 캐시 이전 모델보다 4개의 B300 GPU에서 약 2.7배 더 많은 동시 256K 토큰 시퀀스를 수용할 수 있습니다.

커널 작업은 또한 일반적이기보다는 하드웨어별로 특화된 점에서 주목할 만합니다. Blackwell은 CUDA 13.4 QMUL4 역양자화 경로를 얻고, Rubin은 FP16 점수 MMA, 패킹된 fma.rn.f32x2.f16x2 스케일링, 212개 SM에 걸친 SM 수 인식 타일 계획을 얻습니다. AMD CDNA4는 누락된 NVFP4 역양자화 명령어를 대체하는 2KB LDS 조회 테이블을 얻습니다. 각 플랫폼은 서로 다른 메커니즘을 통해 수치에 도달하며, vLLM은 vllm-project/MSA 저장소에 커널을 게시합니다.

마지막으로 이번 릴리스는 훈련에서 서빙까지의 전체 루프를 다룹니다: veRL, FSDP2, LoRA를 사용한 NVFP4 체크포인트에서의 Day-0 RL, 트레이너와 엔진을 정렬하는 라우팅 재생 및 토큰 수준 중요도 샘플링을 제공합니다. NVFP4 서빙, Day-0 RL, 세 가지 하드웨어 제품군에서의 에이전틱 벤치마크라는 이 조합이 저정밀 추론 배포의 기준점이 되는 이유입니다.