deepseek-ai/DeepInfer

DeepInfer – 高性能 LLM 推理引擎

它是什么 – DeepInfer 是由 DeepSeek AI 构建的开源推理框架，用于在生产规模上服务其大型语言模型（目前为 DeepSeek-V4.1-Flash 系列）。它专注于在 NVIDIA SM100 GPU 和华为昇腾 950 NPU 上进行离线、高吞吐量生成。

关键能力

• 优化内核 – 集成了 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 和自定义 TileLang 操作，用于快速注意力、矩阵乘法和采样。
• 并行性 – 支持注意力数据并行、均衡计算并行，以及带负载均衡的混合专家（MoE）专家并行。
• 草稿令牌验证（DSpark） – 生成推测令牌，然后使用基于置信度的验证来减少解码延迟。
• SWA 有界重放 – 重用 KV 缓存的有限后缀以减少预填充工作。
• 异步批处理调度器 – 将 CPU 调度与 GPU 执行重叠，实现“零开销”批处理。
• 批处理不变与确定性采样 – 启用时（仅限 NVIDIA），保证无论批处理组成如何，输出都相同。
• 结构化输出 – 可以通过 SamplingParams 将生成约束为正则表达式、JSON 模式或 EBNF 语法。

支持的硬件和模型

• NVIDIA SM100 GPU（CUDA 13）
• 华为昇腾 950 NPU（CANN 9.2）
• 目前附带检查点 deepseek-ai/DeepSeek-V4.1-Flash-1017。

如何开始

1. 安装 Linux、GCC ≥ 13、Python 3.12 和相应的加速器栈（CUDA 或 CANN）。
2. 克隆仓库，创建全新的 Python 3.12 虚拟环境，设置 DEEPINFER_ACCELERATOR=nvidia（或 ascend），然后运行 ./build.sh。
3. 运行提供的示例：

   python examples/offline_inference.py
   

   首次运行将从 Hugging Face 拉取模型；您可以通过 DEEPINFER_HF_MODEL_DIR 指向本地副本。

性能 – 基准测试（在 4 个 SM100 GPU 上进行预填充，64 个进行解码）显示了吞吐量和延迟之间的权衡；仓库包含用于重现帕累托曲线的脚本。

评估 – eval/ 文件夹包含用于测量准确性、延迟和其他指标的脚本和说明。

许可证 – Apache 2.0。

与其他项目的关系 – DeepInfer 基于 vLLM、SGLang 和 NVIDIA TensorRT-LLM 的思想构建，并添加了 DeepSeek 特定的内核和调度优化。

---

所有细节均直接取自仓库的 README。