guqiong96/Lvllm
LvLLM is a special NUMA extension of vllm that makes full use of CPU and memory resources, reduces GPU memory requirements, and features an efficient GPU parallel and NUMA parallel architecture, supporting hybrid inference for MOE large models.
解决的问题
LvLLM 通过允许大型混合专家（MoE）模型跨越 GPU 显存和系统内存运行，解决了运行大型 MoE 模型时的硬件限制。它使得在显存不足以容纳整个模型的硬件上执行超大规模模型成为可能，同时为新型 GPU 架构（SM80、SM86、SM89 和 SM120）提供了特定优化和修复。
工作原理
LvLLM 将 lk_moe 引擎集成到 vLLM 中。该混合引擎具备 NUMA 感知能力，可跨 CPU 和 GPU 调度 MoE 专家。它支持 GPU 预填充与混合解码重叠执行，并允许用户指定哪些专家层应常驻显存以最大化性能。当禁用混合 MoE 功能时，其行为可完全等同于原版 vLLM。
适用人群
专为在异构硬件或使用系统内存补充显存的系统上运行大型 MoE 模型（如 DeepSeek-V4、Qwen3.8 和 GLM-5.3）的开发者和研究人员设计。
主要亮点
- 混合内存执行：跨显存和系统内存运行 MoE 模型，实现接近 100% 的显存利用率。
- 广泛硬件支持：新增对 NVIDIA SM80、SM86、SM89 和 SM120 架构的支持与修复。
- NUMA 感知：优化 CPU+GPU 调度，提升多路服务器系统的运行效率。
- GPU 预填充：支持 GPU 预填充与混合解码重叠，提升吞吐量。
相关
- 项目
- 项目
- Dispatch
- 项目
- Dispatch