MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks-TensorFold

해결하는 문제

GLM-5.3-Flash와 같은 대규모 언어 모델을 실행하려면 일반적으로 값비싼 GPU와 많은 메모리가 필요합니다. 이 프로젝트는 고속 링크로 연결된 두 대의 적당한 NVIDIA DGX Sparks(각각 128GB 통합 메모리)에서 TensorFold를 사용하여 모델을 두 머신에 분할하고, 공격적인 양자화(4비트 밀집 가중치, FP8 KV 캐시)를 적용하여 모델을 수용하고 전체 1,048,576 토큰 컨텍스트 창을 지원하는 방법을 보여줍니다. 또한 동시성 문제를 해결합니다. 최대 4개의 요청이 공통 키-값 캐시 풀을 공유할 수 있으며, 문제를 수정하고 기능(Anthropic Messages API 등)을 추가하며 처리량을 개선하는 많은 패치가 포함되어 있습니다.

작동 방식

이 레시피는 두 대의 DGX Sparks를 헤드와 워커로 사용하며, ConnectX-7 QSFP 케이블과 RoCE 네트워킹으로 연결합니다. 두 머신 모두 NVIDIA PyTorch 컨테이너에서 TensorFold v0.6.0을 실행하며, 머신당 하나의 랭크로 기능과 안정성을 향상시키는 패치 세트를 적용합니다. 모델 자체는 사용자 정의 EXL3 양자화 체크포인트(4비트 밀집 가중치, 기타 BF16)로 다운로드되며, 선택적으로 DFlash2 드래프터를 사용하여 추측 디코딩을 수행합니다. 단일 ./start.sh 스크립트가 설정, 검증, 시작 및 스모크 테스트를 처리하고, 포트 8888에서 OpenAI 호환 API 엔드포인트를 제공합니다. 시스템은 FP8 KV 캐시 풀을 사용하여 여러 요청을 동시에 처리하고, 헤드에서 모델의 비전 타워를 실행하여 이미지 및 비디오 입력을 지원하며, 도구 호출, 구조화된 출력(xgrammar 경유) 및 반복되는 시스템 프롬프트를 가속화하기 위한 프롬프트 재사용을 포함합니다.

대상 사용자

비교적 저렴한 듀얼 GB10 하드웨어에서 GLM-5.3-Flash를 배포하려는 개발자와 연구자, 긴 컨텍스트(최대 1M 토큰)가 필요하고 텍스트, 이미지, 비디오를 사용하는 애플리케이션을 구축하기 위한 드롭인 OpenAI 호환 엔드포인트를 원하는 사람. Docker, SSH 및 NVIDIA 하드웨어 설정에 대한 어느 정도의 친숙함이 필요합니다.

하이라이트

• 공유 FP8 KV 풀(총 약 290만 토큰)에서 최대 4개의 동시 요청으로 GLM-5.3-Flash 제공.
• 요청당 전체 1,048,576 토큰 컨텍스트 창 지원.
• 디코드 처리량 최대 약 108.8 tok/s(집계), 프리필 약 1,950 tok/s; 첫 토큰까지 시간 최저 170ms.
• 프롬프트 재사용: 동일한 64k 토큰 프롬프트의 두 번째 방문은 34초 대신 0.07초 미만.
• OpenAI 스타일 콘텐츠 파트를 통해 이미지(JPEG/PNG/WebP) 및 비디오(MP4/WebM/MOV/MKV) 처리.
• 도구 호출, 구조화된 출력 및 Anthropic Messages API 호환 패치 포함.
• 원커맨드 설정(./start.sh)으로 두 Sparks를 준비하고 서버를 시작하며, 로그 및 상태 확인 제공.
• 4비트/FP8 구성에서 GSM8K(98.8%), HumanEval(95.7%), HumanEval+ / MBPP+(86.5%) 품질 벤치마크.