wtdcode/vllm-backport

解决的问题

该项目提供了一个专门针对vLLM推理引擎的分支，旨在较旧的NVIDIA GPU架构（特别是基于Ampere的显卡，如A6000、A100和RTX 30系列）上运行大型、现代的前沿模型。它解决了硬件限制问题，这些限制通常使这些显卡无法高效运行最新的高参数或复杂架构模型。

工作原理

它作为vLLM的修改版本，集成了特定的优化，例如支持原生FP4量化、专家并行和自定义CUDA图配置。它包含一个配套的LMCache分支，用于高效的KV缓存管理，并提供针对特定GPU架构（sm80、sm86、sm89）预构建的Docker镜像。该项目允许用户通过启用CPU卸载嵌入和针对MoE（混合专家）模型的特定内存节省配置等功能，绕过标准vLLM的限制。

适用人群

适用于基础设施工程师和AI研究人员，他们需要在现有企业级或高端消费级硬件上服务高端模型（如DeepSeek-V4或Qwen3.8），而这些硬件缺乏最新的Hopper一代（H100/H200）能力。

亮点

• 硬件兼容性： 针对Ampere（A100、A6000、RTX 30xx）和Ada（RTX 4090、L40S）架构进行了优化。
• 高级量化： 原生支持FP4和FP8，以及AWQ W4A16，用于内存高效的模型服务。
• 集成缓存： 内置对LMCache的支持，用于在分布式环境中管理KV缓存。
• 性能调优： 包含针对推测解码（MTP、DSpark）和CUDA图捕获的专门配置，以最大化旧硬件上的吞吐量。