MiaAI-Lab/DeepSeek-v4-Flash-DSpark-2x-DGX-Spark
DeepSeek-v4-Flash 0731 recipe for 2x DGX Sparks
解决的问题
本项目提供了一种在两台（或三台）NVIDIA DGX Spark 节点集群上运行 DeepSeek-V4-Flash-Vision-Exp 模型的部署方案和优化运行时。它特别解决了管理超大上下文窗口（最高达100万token）、通过推测解码优化吞吐量，以及在 Anemll 运行时中启用原生图像支持的挑战。
工作原理
系统使用 vLLM 配合张量并行（TP=2）和 DSpark 推测解码来加速推理。采用专用的 KV 缓存（nvfp4_ds_mla）以处理 100 万 token 的上限。部署通过 Docker 容器化，可配置为在每个节点上复制模型权重，或通过 ConnectX 链路使用 NFSv4 从主节点挂载权重，以节省存储空间。
适用对象
专为拥有 DGX Spark 硬件并希望以高吞吐量、长上下文能力及图像处理功能部署 DeepSeek 的 Flash Vision 模型的运维人员和研究人员设计。
主要亮点
- 超大上下文： 支持高达 1,048,576 个 token 的上下文上限。
- 推测解码： 使用 DSpark 提升生成速度。
- 原生视觉支持： 包含 Anemll 运行时的启动热修复，支持通过 OpenAI 兼容的
image_url和<image>标签处理图像。 - 灵活的权重管理： 支持在工作节点本地缓存权重，也支持从主节点通过 NFS 挂载。
- 消融支持： 可选的运行时拒绝方向投影，用于修改模型行为。
- 优化吞吐量： 在多个并发流上可达到约 160–190 token/秒的聚合吞吐量。
相关
- 项目
- 项目
- Dispatch
- 项目
- 项目