MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks

这个项目是什么

这个仓库是一个配方和一组脚本，用于在两台 NVIDIA DGX Sparks（每台具有 128 GB 统一内存的专用计算机）上运行一个特定的大型语言模型——DeepSeek-V4.1-Flash-1017。目标是通过OpenAI 兼容 API 提供模型服务，支持非常大的上下文窗口（最多 1,048,576 个 token）、图像输入、工具调用和可选的“思考”模式，同时使用推测解码（一种加速文本生成的技术）和模型的压缩版本（每权重 2.9 位）以适应硬件。

工作原理

两台 Sparks 通过高速网络（ConnectX-7 端口）连接。模型被拆分到两台机器上（张量并行），因此每台处理一半的计算。引擎是 TensorFold，一个基于 Zig 的原生推理引擎。模型权重来自 Hugging Face 上的量化检查点，某些部分使用额外的未量化表（称为 Engram 表）。

一条命令——在第一台 Spark 上运行 ./start.sh——设置两台机器（下载模型、构建 Docker 镜像、准备权重文件），然后启动两个 rank（运行模型的两个进程）。./stop.sh 停止它们。设置可以通过环境变量自定义（例如，启用“abliterated”模式以移除安全过滤器，或使用不同的量化包）。

性能

README 包含来自真实 Sparks 对的实测性能数据。例如：

• 解码速度（生成新 token）：单流约 75–110 token/秒，处理四个并发流时最高可达 130–155 token/秒。
• 预填充速度（处理长提示）：对于最多 256K token 的提示，约 2,000–2,200 token/秒。
• 大海捞针测试（在 479,012 token 的提示中查找隐藏短语）3 次全部成功。

这些数字取决于提示类型（散文与代码）以及硬件是否正确配置。

要求

要使用此项目，您需要：

• 两台 DGX Sparks（或等效的 GB10 系统），每台具有 128 GB 统一内存，且没有其他大型程序运行。
• 两台 Sparks 上相同的 GPU 时钟上限（否则较慢的一台会限制性能）。
• 两台机器之间的直接 ConnectX-7 链路，启用 RoCE v2 和私有子网。
• 从第一台 Spark 到第二台的基于密钥的 SSH。
• 两台 Sparks 上带有 NVIDIA 容器运行时的 Docker。
• 足够的磁盘空间：主（第一台）Spark 上约 505 GB，工作节点上约 310 GB，加上 Docker 镜像的空间。
• NFS（网络文件系统），以便工作节点从主节点读取模型文件，或者每台机器上有本地副本。

其他细节

• 项目包含引擎补丁，修复已知问题（例如，防止长提示冻结其他流，以及启用图像提示缓存）。
• 有一个可选的 systemd 服务用于监督两个 rank。
• README 记录了已知限制，例如主 Spark 上的内存限制，以及在运行其他软件的主节点上需要将上下文窗口保持在 524,288 token 或更少。

简而言之，这是一个经过充分测试、面向性能的设置，用于在两台强大的边缘设备上运行最先进的语言模型，并提供清晰的说明和实测结果。