guqiong96/Lvllm
LvLLM is a special NUMA extension of vllm that makes full use of CPU and memory resources, reduces GPU memory requirements, and features an efficient GPU parallel and NUMA parallel architecture, supporting hybrid inference for MOE large models.
해결하는 문제
LvLLM은 대규모 혼합 전문가(MoE) 모델을 실행할 때 발생하는 하드웨어 제약을 해결하여, GPU VRAM과 시스템 RAM 양쪽에 모델을 분산할 수 있게 합니다. 전체 모델을 보유할 수 있는 충분한 VRAM이 없는 하드웨어에서도 거대한 모델을 실행할 수 있으며, 최신 GPU 아키텍처(SM80, SM86, SM89, SM120)에 특화된 최적화 및 수정 기능을 제공합니다.
작동 방식
LvLLM은 lk_moe 엔진을 vLLM에 통합합니다. 이 하이브리드 엔진은 NUMA 인식이며, MoE 전문가를 CPU와 GPU 간에 스케줄링합니다. GPU 프리필과 하이브리드 디코딩을 겹쳐 실행할 수 있으며, 사용자가 어떤 전문가 레이어를 VRAM에 지속적으로 유지할지 지정하여 성능을 극대화할 수 있습니다. 하이브리드 MoE 기능을 비활성화하면 일반 vLLM과 완전히 동일한 동작을 하도록 구성할 수 있습니다.
대상 사용자
다양한 하드웨어 또는 VRAM을 보완하기 위해 시스템 메모리를 사용하는 환경에서 대규모 MoE 모델(예: DeepSeek-V4, Qwen3.8, GLM-5.3)을 실행하는 개발자 및 연구자에게 적합합니다.
주요 특징
- 하이브리드 메모리 실행: VRAM과 시스템 메모리에 걸쳐 MoE 모델을 분산 실행하여 VRAM 활용률을 거의 100%까지 끌어올립니다.
- 광범위한 하드웨어 지원: NVIDIA SM80, SM86, SM89, SM120 아키텍처에 대한 지원과 수정 기능을 추가합니다.
- NUMA 인식: 멀티소켓 시스템에서 CPU+GPU 스케줄링을 최적화하여 효율성을 향상시킵니다.
- GPU 프리필: GPU 프리필과 하이브리드 디코딩을 겹쳐 실행하여 처리량을 개선합니다.
관련
- 프로젝트
- 프로젝트
- Dispatch
- 프로젝트
- Dispatch