MiaAI-Lab/Qwen3.8-Flash-Next-Dual-DGX-Sparks

解决的问题

该项目提供了一个专门的部署框架，用于在两个NVIDIA DGX Spark节点上运行Qwen3.8-Flash-Next-NVFP4大型语言模型。它通过自动化权重分发、修补模型内核以确保兼容性，以及管理分布式内存资源以最大化KV缓存容量，解决了多节点推理的复杂性。

工作原理

它使用Docker容器在通过高速RoCE/IB网络连接的两个节点上编排基于vLLM的推理服务器。该项目包含下载模型权重、在头节点和工作节点之间同步权重（通过rsync或共享NFS卷），以及对模型层和内核应用特定补丁以确保它们在Spark硬件上正确运行的脚本。它还通过驱逐页面缓存来管理内存，以防止内存不足错误，并支持FP8 KV缓存等高级配置，显著增加模型在上下文窗口中能处理的令牌数量。

适用对象

该项目适用于能够访问多节点DGX Spark硬件，并需要部署高性能、大上下文Qwen模型的基础设施工程师和AI研究人员。它面向熟悉Linux、Docker和分布式系统，并需要多节点推理交钥匙解决方案的用户。

亮点

• 多节点优化： 专门针对双DGX Spark设置进行了调整，使用张量并行（TP2）、专家并行（EP）和多令牌预测（MTP3）。
• 高容量KV缓存： 使用FP8量化，支持高达365万令牌的KV缓存容量。
• 自动修补： 包括对FlashInfer内核和模型层的自动修补，以确保与NVFP4架构的兼容性。
• 灵活部署： 支持多种检查点类型，包括标准NVFP4、官方FP8和abliterated检查点，并提供基于NFS或rsync的权重分发选项。