MiaAI-Lab/Qwen3.8-Flash-Next-Dual-DGX-Sparks

해결하는 문제

이 프로젝트는 두 개의 NVIDIA DGX Spark 노드에서 Qwen3.8-Flash-Next-NVFP4 대규모 언어 모델을 실행하기 위한 특화된 배포 프레임워크를 제공합니다. 가중치 분배, 모델 커널 호환성 패치, 분산 메모리 리소스 관리를 자동화하여 KV 캐시 용량을 최대화함으로써 다중 노드 추론의 복잡성을 해결합니다.

작동 방식

고속 RoCE/IB 네트워킹으로 연결된 두 노드에서 Docker 컨테이너를 사용하여 vLLM 기반 추론 서버를 오케스트레이션합니다. 이 프로젝트에는 모델 가중치 다운로드, 헤드 노드와 워커 노드 간 동기화(rsync 또는 공유 NFS 볼륨 사용), Spark 하드웨어에서 올바르게 실행되도록 모델 레이어와 커널에 특정 패치를 적용하는 스크립트가 포함되어 있습니다. 또한 페이지 캐시를 제거하여 메모리 부족 오류를 방지하고 FP8 KV 캐시와 같은 고급 구성을 지원하여 모델이 컨텍스트 창에서 처리할 수 있는 토큰 수를 크게 늘립니다.

대상 사용자

이 프로젝트는 다중 노드 DGX Spark 하드웨어에 액세스할 수 있고 고성능의 대규모 컨텍스트 Qwen 모델을 배포해야 하는 인프라 엔지니어와 AI 연구자를 대상으로 합니다. Linux, Docker, 분산 시스템에 익숙하고 다중 노드 추론을 위한 턴키 솔루션이 필요한 사용자를 위해 설계되었습니다.

주요 기능

• 다중 노드 최적화: 텐서 병렬 처리(TP2), 전문가 병렬 처리(EP), 다중 토큰 예측(MTP3)을 사용하여 듀얼 DGX Spark 설정에 특별히 맞춤 조정되었습니다.
• 고용량 KV 캐시: FP8 양자화를 사용하여 최대 365만 토큰의 KV 캐시 용량을 지원합니다.
• 자동 패치: NVFP4 아키텍처와의 호환성을 보장하기 위해 FlashInfer 커널 및 모델 레이어에 대한 자동 패치가 포함되어 있습니다.
• 유연한 배포: 표준 NVFP4, 공식 FP8, abliterated 체크포인트를 포함한 여러 체크포인트 유형을 지원하며 NFS 기반 또는 rsync 기반 가중치 배포 옵션을 제공합니다.