MiaAI-Lab/Qwen3.8-Flash-Next-Single-DGX-Spark

이 저장소는 단일 NVIDIA DGX Spark 워크스테이션에서 대규모 비전-언어 모델(Qwen3.8-Flash-Next)을 서빙하기 위한 실용적인 레시피입니다. 튜토리얼이나 링크 목록이 아니라 스크립트, 구성 파일 및 상세한 성능 측정을 포함한 작동하는 배포 설정입니다.

기능:

• 단일 DGX Spark의 121 GiB 통합 메모리에서 vLLM을 사용하여 Mia-AiLab/Qwen3.8-Flash-Next-NVFP4 체크포인트(99 GiB)를 실행하는 자체 포함 방식을 제공합니다.
• 체크포인트 다운로드, 서버 시작/중지, 메모리 관리 등 전체 수명 주기를 처리합니다.
• 텍스트, 이미지, 비디오를 기본적으로 지원합니다.

주요 최적화:

• PLE(위치 조회) 테이블을 디스크로 오프로드하고 메모리 매핑하여 GPU 메모리를 절약합니다.
• 축소된 드래프트 어휘로 추측 디코딩(MTP)을 사용하여 토큰 생성을 가속화합니다.
• 메모리 부족 충돌을 방지하기 위한 안전 규칙이 포함된 메모리 예산 시스템을 포함합니다.
• 컨텍스트 길이, KV 캐시 크기 및 청크 너비를 조정하여 속도와 메모리 간의 균형을 맞출 수 있는 옵션을 제공합니다.

측정된 성능(README에서):

• 단일 스트림 디코딩: 산문에서 약 48.7 토큰/초; 8개의 동시 스트림에서 최대 162.9 토큰/초 집계.
• 프리필: 8k 컨텍스트에서 약 2,200 토큰/초, 256k에서 약 1,900 토큰/초로 감소.
• 헬스 상태까지 시간: 첫 실행 시 약 10~12분.

주목할 만한 주의 사항:

• README는 매우 상세하고 기술적이며 많은 벤치마크 테이블과 구성 노트가 포함되어 있습니다.
• 프로젝트는 대신 권장되는 최신 "TensorFold" 레시피를 가리킵니다.
• 성능은 콘텐츠 유형에 따라 다릅니다(예측 가능한 텍스트는 디코딩이 더 빠름).

전반적으로 이는 단일 고급 워크스테이션에서 대규모 멀티모달 모델을 배포하기 위한 진지하고 실습 중심의 프로젝트로, 신중한 메모리 관리와 추측 디코딩을 통해 최대 성능을 끌어내는 데 중점을 둡니다.