MiaAI-Lab/Qwen3.8-Flash-Next-Single-DGX-Spark

此仓库是在单个 NVIDIA DGX Spark 工作站上服务大型视觉语言模型（Qwen3.8-Flash-Next）的实用配方。它不是教程或链接列表，而是一个可运行的部署设置，包含脚本、配置文件和详细的性能测量。

功能：

• 提供一个自包含的方式，在单个 DGX Spark 的 121 GiB 统一内存上，使用 vLLM 运行 Mia-AiLab/Qwen3.8-Flash-Next-NVFP4 检查点（99 GiB）。
• 处理完整生命周期：下载检查点、启动/停止服务器，以及管理内存。
• 开箱即支持文本、图片和视频。

关键优化：

• 将 PLE（位置查找）表卸载到磁盘并进行内存映射，以节省 GPU 内存。
• 使用推测解码（MTP）搭配缩减的草稿词汇表，加速 token 生成。
• 包含内存预算系统和安全规则，避免内存不足崩溃。
• 提供上下文长度、KV 缓存大小和块宽度的调整选项，以在速度和内存之间取得平衡。

测量性能（来自 README）：

• 单流解码：散文约 48.7 tokens/s；8 个并行流时，总计最高可达 162.9 tokens/s。
• 预填充：8k 上下文约 2,200 tokens/s，降至 256k 时约 1,900 tokens/s。
• 首次启动达到健康状态时间：约 10–12 分钟。

值得注意的注意事项：

• README 非常详细且技术性强，包含许多基准测试表格和配置说明。
• 项目指向一个较新的“TensorFold”配方，建议改用该配方。
• 性能会因内容类型而异（可预测的文本解码速度较快）。

总体而言，这是一个严谨且实践导向的项目，用于在单个高端工作站上部署大型多模态模型，重点在于通过仔细的内存管理和推测解码来榨取最大性能。