DeepSeek-V4.1-Flash on vLLM: 5배 에이전트 처리량 최적화

vLLM와 Inferact는 DeepSeek-V4.1-Flash의 서빙을 최적화하여, 150 TPS 제약 조건 하에서 처리량을 5.3배 향상시키고, 낮은 동시성에서 1.9배의 속도 향상을 달성했습니다. 이러한 성능 향상은 SWA 제한 재실행의 구현과 MegaAttention, Mega-mHC, Mega-Gate와 같은 고성능 커널의 통합에 기인합니다.

프리필 효율성을 위한 SWA 제한 재실행

SWA 제한 재실행은 정확성을 조금 희생함으로써 프리필 계산과 메모리 오버헤드를 줄이며, GSM8K 및 GPQA 벤치마크에서 모델 품질에 거의 영향을 주지 않는 것으로 확인되었습니다.

KV 캐시 및 프리필 비용 감소

DeepSeek-V4.1-Flash는 두 가지 KV 캐시를 사용합니다: 압축된 전역 KV (FP4, 토큰당 약 890바이트)와 압축되지 않은 슬라이딩 윈도우 (SWA) KV (FP8, 40층에서 마지막 128개 위치를 커버). 프리픽스 캐싱에서 SWA KV의 높은 저장 비용과 프리필 시 21–39층의 중복 계산을 피하기 위해 vLLM은 SWA 제한 재실행을 구현합니다. 이 기법은 재실행 시작 지점에서 SWA 윈도우를 자르고 마지막 128개 토큰만 다시 실행합니다.

  • 인코더 측 재실행: vLLM은 전역 KV만 캐시합니다. 길이 H의 프리픽스 히트가 발생하면, 토큰 [H − 128, H)을 다시 실행하여 SWA KV를 재구성합니다.
  • 디코더 측 재실행: 인과적 인코더-디코더 (CED) 아키텍처에서 vLLM은 모든 토큰에 대해 레이어 20을 실행하여 전역 KV를 생성하지만, 각 요청의 마지막 128개 토큰에 대해서만 레이어 21–39를 실행하여 긴 프롬프트에서 거의 절반의 모델을 건너뜁니다.

CUDA 그래프를 통한 절단된 레이어 가속

절단 후 레이어 21–39는 GPU 작업이 거의 없기 때문에 커널 실행 오버헤드가 지배적입니다. vLLM은 전체 배치에 대해 레이어 0–20을, 절단된 배치에 대해 레이어 21–39를 별도로 처리하는 분리 가능한 PIECEWISE 그래프를 사용합니다. 이 최적화는 특히 실행 오버헤드가 주요 병목인 짧은 프롬프트에서 프리필 계산 시간을 30–40% 감소시킵니다.

커널 수준 최적화

vLLM은 DeepSeek에서 공개한 여러 커널을 통합하여 메모리 라운드트립을 제거하고 연산을 융합했습니다.

전용 Mega-커널

  • Mega-mHC: mHC 체인(포스트 스텝, 지연-프리 스텝, RMSNorm)을 하나의 커널로 융합하여 NVIDIA GB200에서 이전 TileLang 버전보다 1.14–1.51배 빠릅니다.
  • Mega-Gate: MoE 라우터(gate GEMM, 전문가 점수, 바이어스, top-k 선택)를 융합하여 중간 배치 크기에서 커널 속도가 1.18–1.31배 향상됩니다.
  • MegaAttention: 쿼리 RoPE, 희소 어텐션, 역 RoPE, FP8 캐스팅을 하나의 실행에서 수행합니다. 새로운 NVFP4 압축된 KV 형식을 사용하여 FP8보다 45% 작아지며, 커널 효율을 1.45배 향상시킵니다.

지연 및 메모리 최적화

  • mHC 멀티스트림 오버랩: 주요 CUDA 스트림에서 어텐션과 FFN을 수행하는 동안 별도의 CUDA 스트림에서 다음 mHC 블록의 계수를 병렬로 계산하여 TP4 저지연 시나리오에서 지연을 약 4% 감소시킵니다.
  • 희소 MQA 로짓: 전체 컨텍스트가 아닌 후보 위치만 점수를 매깁니다. NVIDIA GB300에서 8K 토큰에서는 1.2배 빠르고, 512K 토큰에서는 14–23배 빠르며, 1M 컨텍스트에서 프리필 속도를 2배 향상시킵니다.
  • 저지연 융합 WO-A 커널: Blackwell에서 소규모 디코딩 배치에 대해 역 RoPE, FP8 양자화, WO-A 배치 GEMM, MXFP8 재양자화를 융합하여 토큰 간 지연을 6–7% 감소시킵니다.
  • Engram 최적화: CPU 오프로드된 Engram 조회를 비동기적으로 프리패치하고, 투명한 큰 페이지(THP)를 지원하여 프리필 시 조회 커널 속도를 최대 10배 향상시킬 수 있습니다.

에이전트 서빙 성능

SemiAnalysis AgentX 벤치마크를 사용하여 vLLM은 초기 구현 대비 상당한 성능 향상을 보였습니다.

처리량과 지연의 트레이드오프

  • 저지연 서빙: FlashInfer 어텐션과 함께 TP4를 사용하여 vLLM은 1.9배의 속도 향상을 달성했습니다. 이 특정 저동시성, 메모리 대역폭 제약 시나리오에서 FlashInfer가 MegaAttention보다 더 빠른 것으로 확인되었습니다.
  • 고처리량 서빙: DEP2와 DP 어텐션, MegaAttention를 사용하여 vLLM은 5배의 처리량 향상을 달성했습니다. DP 어텐션은 GPU 간 KV 캐시 중복을 피하고, NVFP4 압축은 GPU당 동시성도 추가로 증가시킵니다.

TTFT 향상

약 10만 처리량에서, 첫 번째 토큰까지의 시간(TTFT)이 거의 70% 감소했습니다. 이 감소는 SWA 제한 재실행(프리필 계산을 절반으로 줄임), CUDA 그래프(CPU 실행 오버헤드 최소화), 일반적인 커널 가속의 복합적인 결과입니다.

Sources