vLLM의 Inkling 2 Small Day-0 지원: 594B MoE, 1M 컨텍스트, 630 TPS/사용자
vLLM은 Thinking Machines의 Inkling 2 Small에 대한 Day-0 지원을 제공합니다. 이 모델은 총 594B 파라미터, 17B 활성 파라미터, 최대 1M 토큰의 컨텍스트를 갖춘 멀티모달 텍스트-비전 MoE 모델입니다. 이번 통합은 vLLM이 출시 시점부터 혼합 정밀도 MoE 실행, 네이티브 DSpark 추측기, LoRA 지원, 긴 컨텍스트의 에이전트 워크로드를 위해 튜닝된 커널을 포함하여 해당 모델에 최적화된 서빙을 제공한다는 점에서 중요합니다.
요약 (TL;DR)
- 총 594B, 활성 17B, 1M 컨텍스트. Inkling 2 Small은 384개의 전문가(top-8)를 사용하는 48계층 MoE로, 이미지와 텍스트를 입력받아 텍스트를 출력합니다.
- Inkling에서 아키텍처 업그레이드. 블록 어텐션 잔차(block attention residuals), 어텐션 싱크(attention sink), 게이트 어텐션(gated attention), ViT 이미지 인코더가 추가되었습니다.
- 혼합 정밀도 MoE. MoE는 0
39계층에서 NVFP4를, 4047계층에서 MXFP8을 사용하여 단일 노드에서 모델 서빙이 가능합니다. - 네이티브 DSpark 추측기. RNN 헤드가 포함된 DSpark는 단계당 7개의 토큰을 초안으로 생성합니다.
- 광범위한 최적화. 커널 융합, PDL, 튜닝된 Gluon 어텐션 커널 및 시퀀스 병렬 처리를 통해 GB200, TP4, 수용 길이 3.5 조건에서 사용자당 최대 630 TPS를 달성합니다.
- RL 및 LoRA 지원. vLLM은 SkyRL을 통한 RL과 해당 모델에 대한 LoRA를 지원합니다.
서빙 명령어
이 모델은 텐서 병렬 처리, Inkling 추론 및 도구 호출 파서, 자동 도구 선택, DSpark 추측 디코딩을 사용하여 vLLM으로 서빙할 수 있습니다:
vllm serve thinkingmachines/Inkling-2-Small \
--tensor-parallel-size 8 \
--reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice \
--speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'
모델 아키텍처
Inkling 2 Small은 Inkling의 백본을 유지하면서 새로운 아키텍처 구성 요소를 추가했습니다. 백본에는 슬라이딩 윈도우와 전체 어텐션의 5:1 혼합, RoPE 대신 학습된 상대적 편향(relative bias)을 사용하는 GQA, 계층당 4개의 커널 크기 4인 짧은 컨볼루션, 시그모이드 라우팅 MoE가 포함됩니다.
이 모델은 48개의 계층(40개의 슬라이딩 윈도우 계층과 8개의 전체 어텐션 계층)으로 구성됩니다. 모든 계층에서 48개의 쿼리 헤드와 8개의 KV 헤드를 사용하며, 1,024 토큰의 슬라이딩 윈도우를 가집니다. MoE는 384개의 라우팅 전문가와 top-8 라우팅을 사용하며, 공유 전문가는 없고 모든 계층에 MoE가 적용됩니다.
Inkling과 비교했을 때 아키텍처 변경 사항은 다음과 같습니다:
| 구성 요소 | Inkling | Inkling 2 Small |
|---|---|---|
| 계층 | 66 (55 슬라이딩 윈도우 + 11 전체) | 48 (40 슬라이딩 윈도우 + 8 전체) |
| 잔차 경로 | 잔차 스트림 | 블록 어텐션 잔차 (6계층씩 8개 블록) |
| 어텐션 | 상대적 편향을 사용한 GQA, RoPE 없음 | 동일 |
| 헤드 (쿼리 / KV) | 64 / 8 전체, 64 / 16 슬라이딩 | 모든 계층에서 48 / 8 |
| 슬라이딩 윈도우 | 512 | 1,024 |
| 어텐션 출력 | 일반 | 시그모이드 게이트 및 토큰별 싱크 |
| 짧은 컨볼루션 | 계층당 4개 (K, V, 어텐션 출력, MLP 출력), 커널 크기 4 | 동일 |
| MoE | 256 라우팅 (top-6) + 2 공유 전문가 싱크, 처음 2계층은 밀집 | 384 라우팅 (top-8), 공유 전문가 없음, 모든 계층 MoE |
| 전문가 정밀도 | NVFP4 | NVFP4 (계층 0–39), MXFP8 (계층 40–47) |
| 모달리티 | 텍스트, 이미지, 오디오 입력; 텍스트 출력 | 텍스트, 이미지 입력; 텍스트 출력 |
| 이미지 인코더 | 40×40 패치에 4계층 hMLP | 20×20 패치에 23계층 ViT (1,024 폭) |
| 추측 디코딩 | 8개의 체인형 MTP 헤드 | DSpark 초안, 단계당 7 토큰 |
블록 어텐션 잔차는 잔차 스트림을 대체합니다. 각 하위 계층 이전에 학습된 쿼리가 이전 6계층 블록의 출력을 혼합합니다. 게이트 어텐션은 각 헤드의 출력에 시그모이드 게이트를 배치하고, 토큰별 어텐션 싱크를 함께 사용합니다. 이미지 인코더는 23계층 ViT(1,024 폭)로, 20×20 패치에서 작동하며 Inkling의 40×40 패치 기반 4계층 hMLP 인코더를 대체합니다.
Four-Over-Six NVFP4를 사용한 혼합 정밀도 MoE
Inkling 2 Small은 48개 계층 전반에 걸쳐 혼합 전문가 정밀도를 사용합니다. 처음 40개 계층의 전문가는 NVFP4를 사용하고, 마지막 8개 계층의 전문가는 MXFP8을 사용합니다. 이러한 혼합 정밀도 설계 덕분에 단일 노드에서 모델을 서빙할 수 있습니다.
NVFP4 활성화는 토큰별 글로벌 스케일과 이중 후보 블록 스케일을 사용하며, 이를 'Four Over Six'라고 합니다. 16개 요소로 구성된 각 블록에 대해 양자화기는 블록의 최댓값을 6과 4로 스케일링해 보고, MAE로 측정한 재구성 오차가 더 낮은 후보를 선택합니다.
RNN 헤드가 포함된 DSpark 추측기
체크포인트에는 Inkling의 8개 체인형 MTP 헤드 대신 DSpark 초안이 포함되어 있습니다. 추측기는 5개의 계층을 가지며 단계당 7개의 토큰을 초안으로 생성합니다. 헤드는 DeepSeek의 DSpark 논문에 설명된 RNN 변형입니다.
vLLM 통합 및 최적화
vLLM의 통합은 모델의 특정 병목 현상인 메모리 바운드 하위 계층 경계, MoE 활성화 양자화, 텐서 병렬 처리 시 중복되는 프리필 작업, 모델의 GQA 비율로 인한 느린 디코드 어텐션을 타겟팅합니다.
커널 융합 및 PDL
vLLM은 하위 계층 간의 집합 통신 및 메모리 바운드 작업을 단일 커널로 융합합니다. 블록 어텐션 잔차를 사용하면 각 경계에서 all-reduce, 짧은 컨볼루션, 잔차 업데이트, 어텐션-잔차 혼합, RMSNorm이 필요합니다. 이는 동일한 은닉 상태에 대해 5개의 메모리 바운드 단계를 거치는 것입니다.
융합된 커널인 allreduce_conv_mix는 NVLink 멀티캐스트를 통해 all-reduce를 실행하고 그 이후의 모든 작업을 레지스터에 유지합니다. GEMM, 어텐션, 라우팅 및 활성화 커널은 PDL(programmatic dependent launch)로 시작되어 각 커널의 프롤로그가 이전 커널의 테일과 겹치게 합니다. 이는 디코드 단계가 짧은 커널의 긴 체인으로 구성되는 작은 배치 크기에서 중요합니다.
융합 활성화 양자화가 포함된 MoE
vLLM은 각 계층의 NVFP4 또는 MXFP8 정밀도에 맞춰 전문가 활성화를 생성하는 커널 내부에서 양자화합니다. 별도의 양자화 패스가 은닉 상태를 건드리지 않습니다. 라우팅 커널은 게이트/업 프로젝션 이전에 토큰을 양자화하고, 소프트캡된 SwiGLU는 다운 프로젝션 이전에 출력을 양자화합니다. 전문가 GEMM은 FlashInfer와 함께 제공되는 TensorRT-LLM의 배치 GEMM 커널에서 실행됩니다.
프리필을 위한 시퀀스 병렬 처리
일반적인 텐서 병렬 처리 하에서는 모든 GPU가 각 all-reduce 이후 모든 토큰에 대해 짧은 컨볼루션, 어텐션-잔차 혼합 및 RMSNorm을 실행합니다. 동일한 작업이 모든 랭크에서 반복됩니다. 이는 디코드에서는 저렴하지만 프리필에서는 비용이 많이 듭니다.
vLLM은 시퀀스 병렬 처리를 통해 이러한 중복을 제거합니다. 각 GPU는 reduce-scatter를 수행하고, 짧은 컨볼루션, 잔차 업데이트, 어텐션-잔차 혼합 및 RMSNorm을 자신의 토큰 슬라이스에 대해서만 융합된 conv_mix 커널에서 실행한 다음, 다음 GEMM을 위해 결과를 all-gather합니다. 이는 TP4에서 8K 토큰 프리필 단계를 22%, TP8에서 26% 단축하며, GPU당 KV 캐시를 위해 1.3~1.9 GiB를 확보합니다.
디코드를 위한 최적화된 Gluon 상대적 어텐션 커널
Inkling의 FlashAttention-4 디코드 경로는 6:1 GQA 비율로 인해 GQA 패킹이 비활성화되므로 Inkling 2 Small에서는 느립니다. vLLM은 디코드 및 검증을 위해 6개의 헤드를 하나의 64행 타일로 패킹하고 KV를 한 번 읽는 워프 특화 Gluon 커널을 작성했습니다. TMA 워프는 KV를 스트리밍하고, tcgen05 워프는 MMA를 실행하며, 4개의 소프트맥스 워프가 상대적 편향을 적용합니다.
100K 컨텍스트에서 배치-1 디코드 단계가 15.1ms에서 4.8ms로 단축되었습니다. 프리필은 Inkling의 sheared-bias FlashAttention-4 경로를 유지합니다.
성능
vLLM은 DSpark 확률적 초안 생성 및 프리픽스 캐싱을 사용하여 2개의 4-GPU 노드를 사용하는 TP8 환경에서 에이전트 워크로드에 대해 Inkling 2 Small을 벤치마킹했습니다. 각 세션은 긴 컨텍스트를 유지하며, 매 턴마다 이전 답변과 약 2K 토큰의 도구 출력을 추가하므로 턴당 약 3K 토큰만 새로 생성됩니다. 각 턴은 온도 1.0에서 추론을 통해 1,024 토큰을 생성합니다.
다음 표는 각 사용자가 100 토큰/초를 얻는 동시성 수준에서 GPU당 출력 처리량을 나타냅니다:
| 세션 컨텍스트 | 100 토큰/초/사용자 시 GPU당 출력 토큰/초 | 동시 세션 | 프리픽스 캐시 적중률 | 수용 길이 |
|---|---|---|---|---|
| 32K | ~1,070 | ~84 | 91% | 3.3 |
| 64K | ~915 | ~72 | 95% | 3.4 |
| 128K | ~700 | ~55 | 98% | 3.5 |
| 256K | ~450 | ~37 | 99% | 3.5 |
TP4에서 단일 사용자의 경우, 모델은 수용 길이 3.5로 약 630 토큰/초로 디코딩합니다.
정확도 평가
vLLM은 참조 구현의 수치적 특성을 유지합니다. 모든 단계에서 동일한 데이터 유형, FP32 어텐션 출력 및 라우터, 동일한 NVFP4/MXFP8 활성화 양자화를 사용합니다. 오직 축소 순서와 all-reduce의 BF16 부분합만 다릅니다.
종단 간으로 vLLM은 DSpark가 활성화된 상태에서 inkling-verify를 사용하여 최대 1M 토큰의 NIAH, MMMU-Pro 및 HLE에서 정확도를 검증했습니다. 점수는 추측 디코딩이 없는 vLLM 실행 결과와 일치합니다.
시사점
Inkling 2 Small은 1M 토큰 컨텍스트 윈도우를 가진 대규모 희소 멀티모달 모델이며, vLLM의 Day-0 지원은 단일 노드에서 혼합 NVFP4/MXFP8 전문가 정밀도로 서빙할 수 있음을 보여줍니다. 이번 통합은 아키텍처 인식 커널, 융합 통신 및 정규화, 프리필을 위한 시퀀스 병렬 처리, 사용자 지정 Gluon 디코드 커널을 결합하여 긴 컨텍스트의 에이전트 서빙을 실용적으로 만듭니다. 또한 vLLM은 해당 모델에 대해 LoRA 및 SkyRL을 통한 RL을 지원합니다.