MiaAI-Lab/DeepSeek-v4-Flash-DSpark-2x-DGX-Spark

해결하는 문제

이 프로젝트는 두 대(또는 세 대)의 NVIDIA DGX Spark 노드 클러스터에서 DeepSeek-V4-Flash-Vision-Exp 모델을 실행하기 위한 배포 레시피와 최적화된 런타임을 제공합니다. 특히 최대 100만 토큰에 이르는 거대한 컨텍스트 창 관리, 예측 디코딩을 통한 처리량 최적화, 그리고 Anemll 런타임에서의 네이티브 이미지 지원 문제를 해결합니다.

작동 방식

시스템은 vLLM과 텐서 병렬( TP=2) 및 DSpark 예측 디코딩을 사용하여 추론을 가속화합니다. 100만 토큰의 한계를 처리하기 위해 특수한 KV 캐시(nvfp4_ds_mla)를 사용합니다. 배포는 Docker를 사용해 컨테이너화되었으며, 모델 가중치를 각 노드에 복제하거나 ConnectX 링크를 통해 NFSv4를 통해 헤드 노드에서 마운트하여 저장소를 절약할 수 있도록 구성할 수 있습니다.

대상 사용자

DGX Spark 하드웨어에 접근이 가능한 운영자 및 연구자에게 적합합니다. 고처리량, 긴 컨텍스트, 이미지 처리 기능을 갖춘 DeepSeek의 Flash Vision 모델을 배포하고자 하는 분들께 추천합니다.

주요 특징

• 거대한 컨텍스트: 최대 1,048,576 토큰의 컨텍스트 한계를 지원합니다.
• 예측 디코딩: DSpark를 사용하여 생성 속도를 향상시킵니다.
• 네이티브 비전 지원: Anemll 런타임의 시작 시 핫픽스를 통해 OpenAI 호환 image_url 및 <image> 태그를 통해 이미지를 지원합니다.
• 유연한 가중치 관리: 워커 노드에서 로컬 캐시를 사용하거나 헤드 노드에서 NFS 기반으로 마운트하는 방식을 모두 지원합니다.
• 제거 지원: 모델 동작을 수정할 수 있는 선택적 런타임 거부 방향 투영 기능이 있습니다.
• 최적화된 처리량: 여러 동시 스트림에서 총 약 160~190 토큰/초의 처리량을 달성할 수 있습니다.