tonyd2wild/DeepSeek-v4-Flash-Vision-Exp-DSpark-1M-NVFP4-KV-2x-DGX-Spark

해결하는 문제

이 프로젝트는 DGX Spark 클러스터에서 DeepSeek-V4-Flash-Vision-Exp 멀티모달 모델을 위한 프로덕션 준비 배포 레시피를 제공합니다. 비전 변형을 위한 프로덕션 서빙 엔진이 부족한 문제를 구체적으로 해결하며, vLLM을 사용한 네이티브 이미지 입력과 고처리량 추론을 가능하게 하는 필요한 포트와 패치를 제공합니다.

작동 방식

이 프로젝트는 2개의 DGX Spark 노드에서 텐서 병렬 처리(TP=2)와 vLLM을 사용하여 서빙 스택을 구현합니다. 사용자 정의 런타임 이미지와 일련의 중요한 바인드 마운트를 활용하여 컨테이너를 재빌드하지 않고 패치를 적용합니다. 주요 기술 구성 요소는 다음과 같습니다.

• DSpark 추측 디코딩: 드래프터를 사용하여 토큰 생성을 가속화하며, 특정 k=5 구성으로 최적화됩니다.
• NVFP4 KV 캐시: 실험적인 nvfp4_ds_mla KV 캐시를 사용하여 대규모 컨텍스트 창(최대 1M 토큰)을 지원합니다.
• 비전 포트: 32블록 ViT와 얼라이너를 vLLM에 직접 통합하여 VLM 프록시를 우회합니다.
• 중요 패치: Patch 3(스케줄러 수정), Patch 4(공유 전문가 로더 수정으로 조용한 성능 저하 방지), Patch 5(추론 세그먼트 중 중지 문자열 억제)가 포함됩니다.

대상 사용자

DGX Spark 하드웨어에서 DeepSeek-V4-Flash 모델을 배포하는 ML 엔지니어 및 인프라 연구자로, 고처리량, 긴 컨텍스트 멀티모달 기능이 필요한 분들.

하이라이트

• 네이티브 멀티모달 지원: 비전 기능을 서빙 엔진에 직접 통합.
• 대규모 컨텍스트: 1M 토큰 컨텍스트 창에 맞게 보정됨.
• 고처리량: 특정 워크로드에서 최대 80.1 tok/s 달성(Patch 4 사용 시).
• 조용한 실패 방지: 드래프트의 공유 전문가가 초기화되지 않은 상태로 로드되는 심각한 버그를 수정하는 특정 스크립트와 패치를 제공합니다. 이 버그는 출력 품질에 영향을 주지 않으면서 디코딩 속도를 절반으로 줄일 수 있습니다.