MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks

해결 과제

이 프로젝트는 여러 NVIDIA DGX Spark 유닛에서 GLM-5.3-Flash 대규모 언어 모델을 실행하기 위한 간소화된 원클릭 배포 솔루션을 제공합니다. 모델 가중치 오케스트레이션, 추측 디코딩 및 네트워크 구성을 자동화하여 고성능 추론 클러스터를 구축하는 복잡성을 해결합니다.

작동 방식

컨테이너화된 방식을 사용하여 OpenAI 호환 vLLM 서버를 배포합니다. 시스템은 연결된 Spark 유닛 간의 모델 가중치 분산을 처리하고, DFlash2 추측 디코딩을 구현하여 토큰 생성 속도를 향상시키며, 환경 변수 설정을 통해 다양한 성능 튜닝 프로필("Speed boost" 및 "Abliteration" 등)을 지원합니다. GB10 아키텍처를 위해 특별히 설계되었습니다.

대상 사용자

이 프로젝트는 NVIDIA DGX Spark 하드웨어에 액세스할 수 있고 높은 처리량과 낮은 지연 시간으로 GLM-5.3-Flash 모델을 서비스해야 하는 엔지니어 및 연구자를 위한 것입니다. Linux 기반 클러스터 관리 및 환경 수준 구성에 익숙한 사용자를 대상으로 합니다.

주요 특징

• 2개, 3개 또는 4개의 DGX Spark 유닛에 걸친 멀티 노드 확장 지원.
• 더 빠른 토큰 생성을 위한 DFlash2 추측 디코딩 포함.
• 기존 LLM 애플리케이션과 쉽게 통합할 수 있는 OpenAI 호환 API 제공.
• 검열되지 않은 출력(Abliteration)이나 최적화된 디코딩 속도와 같은 특수 요구 사항을 위한 선택적 성능 프로필 제공.
• 컨텍스트 길이, 요청 동시성 및 하드웨어별 튜닝을 위한 광범위한 구성 옵션 제공.