kacper-daftcode/vLLM-Moet

解决的问题

使在消费级或工作站级 Blackwell GPU（如 RTX 5090 或 RTX PRO 6000）上运行大规模前沿混合专家（MoE）模型成为可能，这些模型通常会超出可用 VRAM 的限制，例如 GLM-5.2（753B）和 DeepSeek-V4-Flash（159B）。

工作原理

该项目结合了量化、分层内存管理与自定义内核，将大型模型适配到有限硬件上：

• 2-bit 专家压缩： 使用手写 SM120 SASS 内核，将路由专家压缩为符号对称的 2-bit 代码本。为保持质量，引入 FP4「delta 缓存」和置信度门控，在需要时精确恢复。
• 分层专家驻留： 当模型超过 VRAM 时，系统将 2-bit 基础部分移至固定主机内存，进一步下移到 NVMe 包文件。GPU 作为专家缓存，从内存或磁盘获取缺失专家并重放计算步骤，确保比特级完全一致的结果。
• 优化的推理基础： 修补 vLLM v0.24.0 以修复 SM120 兼容性问题，并引入 NVFP4 KV 缓存，将每 token 内存占用降低至 352 B/token。
• 推测解码： 实现 MTP（多 token 预测）推测解码，即使在流水线并行下也能提升吞吐量。

适用人群

拥有 Blackwell 架构 GPU 的开发者和研究人员，希望在有限 GPU 数量下运行万亿参数级前沿 MoE 模型，同时不牺牲显著精度或正确性。

主要亮点

• 支持超大规模模型： 仅用两块 RTX PRO 6000 卡即可运行 GLM-5.2（753B）。
• NVMe 交换： 使用包文件和固定内存区域，绕过主机内存限制，并通过持久化量化缓存加速启动时间。
• 高性能： 通过自定义 SASS 内核和 MTP，实现高解码速度（例如在 4x PRO 6000 上 GLM-5.2 达到 105 tok/s）。
• 精度恢复： 使用置信度门控对低置信度步骤以 FP4 精度重新运行，修正 2-bit 量化带来的伪影。