kacper-daftcode/vLLM-Moet

해결하는 문제

일반적으로 사용 가능한 VRAM을 초과하는 대규모 최전방 Mixture-of-Experts (MoE) 모델—예를 들어 GLM-5.2 (753B) 및 DeepSeek-V4-Flash (159B)—을 소비자용 또는 워크스테이션급 Blackwell GPU(예: RTX 5090 또는 RTX PRO 6000)에서 실행할 수 있게 합니다.

작동 방식

이 프로젝트는 양자화, 계층적 메모리 관리, 커스텀 커널의 조합을 통해 제한된 하드웨어에 대규모 모델을 적재합니다.

• 2비트 전문가 압축: 라우팅된 전문가를 수작업으로 작성한 SM120 SASS 커널을 사용해 부호 대칭 2비트 코드북으로 압축합니다. 품질을 유지하기 위해 FP4 "델타 캐시"와 신뢰도 게이트를 사용해 필요한 부분에서 정밀도를 복원합니다.
• 계층적 전문가 주거지: 모델이 VRAM을 초과할 경우, 시스템은 2비트 기반을 핀된 호스트 RAM으로 이동하고, 더 나아가 NVMe 팩 파일로 이동합니다. GPU는 전문가 캐시 역할을 하며, 부족한 전문가를 RAM 또는 디스크에서 가져와 계산 단계를 재실행하여 비트 수준 동일 결과를 보장합니다.
• 최적화된 서빙 기반: vLLM v0.24.0을 수정하여 SM120 호환성 문제를 해결하고, NVFP4 KV 캐시를 도입하여 토큰당 메모리 사용량을 줄입니다 (352 B/token).
• 예측 디코딩: 파이프라인 병렬화 하에서도 처리량을 높이기 위해 MTP (멀티 토큰 예측) 예측 디코딩을 구현합니다.

대상 사용자

Blackwell 아키텍처 GPU를 보유하고 있으며, 제한된 GPU 수로 트리리온 파라미터 규모의 최신 MoE 모델을 실행하고자 하며, 상당한 정밀도나 정확도를 희생하지 않고 싶은 개발자 및 연구자.

주요 특징

• 대규모 모델 지원: 단 두 장의 RTX PRO 6000 카드로 GLM-5.2 (753B)을 실행 가능.
• NVMe 오프로딩: 팩 파일과 핀된 RAM 영역을 사용해 호스트 RAM 제한을 회피하고, 지속 가능한 양자화 캐시를 통해 부팅 시간을 가속화.
• 고성능: 커스텀 SASS 커널과 MTP를 활용해 GLM-5.2 (4x PRO 6000)에서 105 tok/s의 높은 디코딩 속도를 달성.
• 정밀도 복구: 신뢰도 게이트를 사용해 낮은 신뢰도 단계를 FP4 정밀도로 재실행하여 2비트 양자화로 인한 아티팩트를 수정.