Mistral Large 4에 대한 vLLM Day 0 지원

vLLM은 Mistral의 최신 프런티어 MoE(Mixture-of-Experts) 멀티모달 모델인 Mistral Large 4에 대한 완전한 Day 0 지원을 발표했습니다. 이번 통합을 통해 새로운 모델 러너(MRV2)를 통한 고성능 추론이 가능해졌으며, 교차 계층 KV 공유(cross-layer KV sharing), NoPE 계층, DSpark 추측 디코딩(speculative decoding)과 같은 고급 아키텍처 기능에 대한 지원이 포함되었습니다.

모델 아키텍처 및 기능

Mistral Large 4는 128개의 라우팅된 전문가(상위 4개 선택)와 1개의 공유 전문가를 갖춘 72계층 MoE 모델입니다. 이 모델은 Multi-Head Latent Attention(MLA) 및 DSA 스파스 인덱서를 포함한 DeepSeek 스타일의 스파스 어텐션 스택을 활용합니다. 주요 아키텍처 특징은 다음과 같습니다:

• 매개변수: 총 1조 개의 매개변수, 토큰당 490억 개의 활성 매개변수.
• 멀티모달: 프롬프트당 여러 이미지를 지원하는 통합 Pixtral 비전 인코더.
• 효율성: 9개의 NoPE 계층이 35계층에서 잠재 캐시(latent cache)를 읽는 교차 계층 KV 공유를 사용하여 메모리 오버헤드를 크게 줄였습니다.
• 양자화: FP8(블록 스케일) 및 NVFP4 형식을 모두 지원하며, 후자는 핵심 벤치마크에서 FP8 성능의 0.3 포인트 이내를 유지하면서 1.5배의 KV 캐시 용량을 제공합니다.

성능 최적화

vLLM 구현은 모델의 규모와 긴 컨텍스트 요구 사항을 처리하기 위해 몇 가지 최적화를 도입했습니다:

• Decode Context Parallelism (DCP): 잠재 KV 캐시를 텐서 병렬 랭크에 걸쳐 샤딩하여 TP8 FP8 구성에서 최대 1,888만 토큰까지 KV 용량을 대폭 증가시킵니다.
• DSpark Speculative Decoding: 슬라이딩 윈도우 MLA 계층을 사용하여 단계당 약 2.9 토큰을 달성하고 출력 처리량을 약 2배 향상시키는 내장 드래프터(drafter)입니다.
• Disaggregated Serving (NIXL): 프리필/디코드 분리를 지원하여 컴퓨팅 집약적인 프리필 노드와 메모리 집약적인 디코드 노드를 독립적으로 확장할 수 있습니다.
• HiSparse: 호스트 메모리 스파스 KV 오프로드를 활성화하며, 이제 교차 계층 KV 공유와 호환되어 비상주 KV를 고정된 호스트 메모리에 유지함으로써 컨텍스트 윈도우를 확장할 수 있습니다.

하드웨어 지원

표준 NVIDIA GPU 배포 외에도, 이번 릴리스에는 ROCm을 통한 AMD Instinct MI350 시리즈 GPU에 대한 Day 0 지원이 포함되어 있습니다. 여기에는 다음이 포함됩니다:

• MXFP4 전문가: 전문가에 대한 OCP MXFP4 양자화 지원으로 메모리 사용량을 줄이고 1T 모델을 4개의 MI350 GPU에서 실행할 수 있게 합니다.
• AITER 통합: 융합된 MoE 작업, MLA 디코드 커널 및 최적화된 all-reduce 작업을 위해 AMD의 AITER 커널 라이브러리를 활용합니다.
• 특수 디코드: MoE 계층을 지속적인 커널 실행으로 융합하여 토큰당 지연 시간을 크게 줄이는 저동시성 서빙을 위한 지연 시간 최적화 경로입니다.

배포

Mistral Large 4는 vllm/vllm-openai:mistral-large-4 Docker 이미지를 통해 사용할 수 있습니다. 사용자는 텐서 병렬 처리, 추측 디코딩 및 도구 호출 파싱을 위한 표준 vLLM 플래그를 사용하여 모델을 구성할 수 있습니다. 또한 이 구현은 스파스 MLA 및 DSA 인덱서 커널을 위해 vllm-torchtpu를 활용하는 TPU v7x 환경을 지원합니다.