weicj/vLLM-2080Ti-Definitive

해결하는 문제

이 프로젝트는 RTX 2080 Ti, Tesla T4, Quadro RTX 시리즈와 같은 NVIDIA Turing 아키텍처 GPU(SM75)에 최적화된 특수 vLLM 추론 런타임을 제공합니다. 특정 하드웨어 속성과 최적화된 커널을 활용하여 구형 하드웨어에서도 더 큰 모델(27B 및 35B 파라미터 모델 등)을 고성능으로 서빙할 수 있게 합니다.

작동 원리

이 프로젝트는 vLLM의 하드웨어 중심 포크로, 여러 가속 구성 요소와 SM75 전용 소스 변경 사항을 통합했습니다. Marlin, FlashInfer/FlashQLA, TurboQuant/INT8 KV 및 CUDA Graph 지원을 사용하여 처리량을 극대화합니다. 또한 전용 런처와 사전 구성된 프로필을 포함하여 여러 GPU(예: NVLink가 포함된 2x RTX 2080 Ti) 간의 텐서 병렬 처리(TP) 및 파이프라인 병렬 처리(PP)를 관리합니다.

대상 사용자

RTX 2080 Ti 듀얼 구성이나 Tesla T10/T4 설정을 사용하는 사용자 등, NVIDIA Turing 세대 GPU(SM75)를 보유하고 로컬에서 높은 처리량과 효율성으로 대규모 언어 모델을 실행하려는 사용자에게 적합합니다.

주요 특징

• SM75 최적화: Turing GPU에 맞게 특별히 조정되어 27B-35B급 모델을 효율적으로 서빙할 수 있습니다.
• 높은 처리량: 상당한 디코딩 속도를 달성합니다(예: 2x 2080 Ti에서 Qwen 27B NVFP4 기준 200 tok/s 이상).
• 통합 런처: GPU 토폴로지, 모델 경로 및 성능 모드(normal, fast, aggressive, safe)를 쉽게 구성할 수 있는 대화형 launcher.sh 스크립트를 제공합니다.
• 하드웨어 지원: 2x RTX 2080 Ti, 2x Tesla T10 및 4x Tesla T10 구성에 대해 검증된 경로를 제공합니다.
• 광범위한 가중치 지원: FP8, NVFP4, INT4(W4A16)를 포함한 다양한 가중치 형식으로 테스트되었습니다.