weicj/vLLM-2080Ti-Definitive

它解决了什么问题

该项目提供了一个专门针对 NVIDIA Turing 架构 GPU (SM75)（如 RTX 2080 Ti、Tesla T4 和 Quadro RTX 系列）优化的 vLLM 推理运行时。它通过利用特定的硬件特性和优化内核，使得在旧硬件上能够高性能地服务更大规模的模型（如 27B 和 35B 参数模型）。

工作原理

它是 vLLM 的一个专注于硬件的分支，集成了多个加速组件和针对 SM75 的源码修改。它使用了 Marlin、FlashInfer/FlashQLA、TurboQuant/INT8 KV 和 CUDA Graph 支持来最大化吞吐量。该项目包含一个专门的启动器和预配置的配置文件，用于管理跨多个 GPU（例如，通过 NVLink 连接的 2x RTX 2080 Ti）的张量并行 (TP) 和流水线并行 (PP)。

适用人群

拥有 NVIDIA Turing 代 GPU (SM75) 并希望在本地以高吞吐量和高效率运行大语言模型的用户，特别是那些使用双 RTX 2080 Ti 或 Tesla T10/T4 设置的用户。

亮点

• SM75 优化：专门针对 Turing GPU 进行调优，使得 27B-35B 级别的模型能够被高效服务。
• 高吞吐量：实现了显著的解码速度（例如，在 2x 2080 Ti 上运行 Qwen 27B NVFP4 时超过 200 tok/s）。
• 集成启动器：一个交互式的 launcher.sh 脚本，用于轻松配置 GPU 拓扑、模型路径和性能模式（正常、快速、激进、安全）。
• 硬件支持：针对 2x RTX 2080 Ti、2x Tesla T10 和 4x Tesla T10 配置进行了验证。
• 广泛的权重支持：已测试多种权重格式，包括 FP8、NVFP4 和 INT4 (W4A16)。