MiaAI-Lab/Qwen3.8-Flash-Next-Single-DGX-Spark-TensorFold

해결하는 문제

이 프로젝트는 단일 NVIDIA DGX Spark 시스템에서 Qwen3.8 Flash Next 표준 언어 모델을 실행하는 간단한 방법을 제공합니다. 자동화된 설정을 통해 텍스트와 이미지 입력을 모두 지원하는 OpenAI 호환 API로 모델을 제공하여 고성능 양자화 모델 부서의 복잡성을 해결합니다.

작동 방식

NVIDIA PyTorch 컨테이너 안에서 실행되는 TensorFold Zig 기반 엔진을 사용하여 모델 추론을 관리합니다. 시스템은 두 가지 주요 양자화 체크포인트를 지원합니다: 고성능 NVIDIA FP4 양자화 버전(기본) 및 선택적 INT4-AutoRound 버전. 엔진은 메모리 관리, 컨텍스트 윈도우(최대 262,144 토큰), 병렬 요청 처리를 처리하며, 성능 및 헬스 모니터링을 위한 도구를 제공합니다.

대상 사용자

NVIDIA DGX Spark(또는 128GB 통합 메모리를 갖춘 유사한 GB10 하드웨어)에 접근할 수 있고 대규모 비전이 가능한 AI 모델을 높은 효율과 낮은 지연시간으로 로컬 실행할 필요가 있는 사용자를 위해 설계되었습니다.

특징

• 최대 262,144 토큰의 대형 컨텍스트 윈도우를 지원합니다.
• 이미지 및 비디오 입력을 위한 고유 비전 지원을 포함합니다.
• OpenAI 호환 API를 제공하여 기존 도구와의 통합을 쉽게 합니다.
• 자동 설정 및 관리 스크립트(start.sh 및 stop.sh)를 포함합니다.
• 높은 정확성을 위해 NVIDIA의 양자화 인식 증류 치요(QAD) FP4 포멧에 최적화되었습니다.