albond/DGX_Spark_Qwen3.5-122B-A10B-AR-INT4

What it solves

이 프로젝트는 NVIDIA DGX Spark 하드웨어에서 Qwen3.5-122B-A10B 모델의 추론 처리량을 크게 증가시키기 위한 최적화 세트를 제공합니다. 모델 품질을 저하시키지 않으면서 성능을 초당 28.3개 토큰에서 52개 토큰(82% 증가)으로 개선합니다.

How it works

이 프로젝트는 다단계 최적화 스택을 사용합니다:

• Hybrid Quantization: BF16 공유 전문가 가중치를 FP8로 교체하여 메모리 대역폭 압력을 줄입니다.

• MTP-2 Speculative Decoding: Multi-Token Prediction을 사용하여 단계당 여러 토큰을 생성하여 처리량을 높입니다.

• INT8 LM Head: Triton autotuning이 적용된 패치된 INT8 Language Model head를 구현하여 모델의 마지막 레이어를 가속화합니다.

• Hardware-Specific Compilation: DGX Spark에서 사용되는 SM121 (Blackwell) 아키텍처를 위해 vLLM을 특별히 컴파일하며, 특정 CUTLASS blockwise FP8 GEMM patch (PR #38325)를 포함합니다.

• Context Management: 기본적으로 최대 256K 컨텍스트 길이를 지원하며, 더 높은 동시성을 위해 선택적인 TurboQuant KV cache 압축을 지원합니다.

Who it’s for

NVIDIA DGX Spark 워크스테이션을 사용하여 Qwen3.5-122B-A10B 모델을 최대 효율과 높은 처리량으로 배포해야 하는 개발자 및 연구자.

Highlights

• 82% Speedup: 처리량을 28.3에서 52 tok/s로 증가시킵니다.
• Blackwell Optimized: SM121 아키텍처를 위한 커스텀 vLLM build.
• Large Context: 256K 컨텍스트 창을 네이티브로 지원합니다.
• Speculative Decoding: 더 빠른 생성을 위한 통합된 MTP-2 지원.
• Automated Setup: Docker 이미지 생성 및 모델 준비를 포함한 복잡한 빌드 프로세스를 처리하는 install.sh 스크립트가 포함되어 있습니다.