albond/DGX_Spark_Qwen3.5-122B-A10B-AR-INT4

它解决了什么问题

此项目提供了一套优化方案，可显著提升 Qwen3.5-122B-A10B 模型在 NVIDIA DGX Spark 硬件上的推理吞吐量。在不降低模型质量的前提下，将性能从基准的每秒 28.3 个 token 提升至每秒 52 个 token（提升 82%）。

它如何工作

该项目采用多步骤优化栈：

• 混合量化：将 BF16 共享专家权重替换为 FP8，以减少内存带宽压力。
• MTP-2 推测解码：利用多标记预测在每一步生成多个标记，从而提升吞吐量。
• INT8 语言模型头：通过 Triton 自动调优实现修补后的 INT8 语言模型头，加速模型的最后一层。
• 硬件特定编译：针对 DGX Spark 中使用的 SM121（Blackwell）架构专门编译 vLLM，包含特定的 CUTLASS 块状 FP8 GEMM 补丁（PR #38325）。
• 上下文管理：原生支持高达 256K 的上下文长度，可选的 TurboQuant KV 缓存压缩功能可进一步提升并发能力。

适用人群

需要在 NVIDIA DGX Spark 工作站上以最高效率和高吞吐量部署 Qwen3.5-122B-A10B 模型的开发者和研究人员。

主要亮点

• 82% 性能提升：吞吐量从 28.3 提升至 52 tok/s。
• Blackwell 优化：专为 SM121 架构定制的 vLLM 构建版本。
• 大上下文支持：原生支持 256K 上下文窗口。
• 推测解码：集成 MTP-2 支持，实现更快的生成速度。
• 自动化部署：包含 install.sh 脚本，自动处理复杂的构建流程，包括 Docker 镜像创建和模型准备。