wtdcode/vllm-backport

해결하는 문제

이 프로젝트는 구형 NVIDIA GPU 아키텍처(특히 A6000, A100, RTX 30 시리즈와 같은 Ampere 기반 카드)에서 대규모 최신 최첨단 모델을 실행하도록 설계된 vLLM 추론 엔진의 특수 포크를 제공합니다. 이는 이러한 카드가 최신 고파라미터 또는 복잡한 아키텍처 모델을 효율적으로 실행하지 못하게 하는 하드웨어 제한을 해결합니다.

작동 방식

vLLM의 수정된 버전으로 기능하며, 네이티브 FP4 양자화 지원, 전문가 병렬 처리, 사용자 정의 CUDA 그래프 구성과 같은 특정 최적화를 통합합니다. 효율적인 KV 캐시 관리를 위한 LMCache의 페어 포크가 포함되어 있으며, 특정 GPU 아키텍처(sm80, sm86, sm89)에 맞춘 사전 빌드 Docker 이미지를 제공합니다. 이 프로젝트는 임베딩의 CPU 오프로딩 및 MoE(혼합 전문가) 모델용 특정 메모리 절약 구성과 같은 기능을 활성화하여 표준 vLLM 제약을 우회할 수 있게 합니다.

대상 사용자

최신 Hopper 세대(H100/H200) 기능이 없는 기존 엔터프라이즈 또는 하이엔드 소비자 하드웨어에서 DeepSeek-V4 또는 Qwen3.8과 같은 하이엔드 모델을 서비스해야 하는 인프라 엔지니어와 AI 연구자를 위한 것입니다.

주요 기능

• 하드웨어 호환성: Ampere(A100, A6000, RTX 30xx) 및 Ada(RTX 4090, L40S) 아키텍처에 최적화됨.
• 고급 양자화: FP4 및 FP8 네이티브 지원, 메모리 효율적인 모델 서빙을 위한 AWQ W4A16.
• 통합 캐싱: 분산 환경에서 KV 캐시를 관리하기 위한 LMCache의 내장 지원.
• 성능 튜닝: 구형 하드웨어에서 처리량을 극대화하기 위한 추측 디코딩(MTP, DSpark) 및 CUDA 그래프 캡처를 위한 특수 구성이 포함되어 있습니다.