tonyd2wild/DeepSeek-v4-Flash-Vision-Exp-DSpark-1M-NVFP4-KV-2x-DGX-Spark

解决的问题

此项目为 DeepSeek-V4-Flash-Vision-Exp 多模态模型在 DGX Spark 集群上提供生产就绪的部署配方。它特别解决了视觉变体缺乏生产级服务引擎的问题，提供必要的端口和补丁，以启用原生图像输入和使用 vLLM 的高吞吐量推理。

运作方式

此项目在 2 个 DGX Spark 节点上使用张量并行（TP=2）和 vLLM 实现服务堆栈。它利用自定义运行时镜像和一系列关键的 bind-mount 来应用补丁，而无需重建容器。关键技术组件包括：

• DSpark 推测解码：使用 drafter 加速 token 生成，并以特定的 k=5 配置进行优化。
• NVFP4 KV 缓存：采用实验性的 nvfp4_ds_mla KV 缓存来支持大型上下文窗口（最多 1M tokens）。
• 视觉端口：将 32 块 ViT 和 aligner 直接集成到 vLLM 中，无需 VLM 代理。
• 关键补丁：包含 Patch 3（调度器修复）、Patch 4（共享专家加载器修复，防止静默性能下降）和 Patch 5（在推理段期间抑制停止字符串）。

适用对象

在 DGX Spark 硬件上部署 DeepSeek-V4-Flash 模型的 ML 工程师和基础设施研究人员，需要高吞吐量、长上下文多模态功能。

亮点

• 原生多模态支持：将视觉功能直接集成到服务引擎中。
• 大型上下文：针对 1M-token 上下文窗口进行校准。
• 高吞吐量：在特定工作负载下可达 80.1 tok/s（使用 Patch 4）。
• 防止静默失败：提供特定脚本和补丁，以修复 draft 的共享专家加载未初始化状态的关键错误，否则会将解码速度减半而不影响输出质量。