DeepSeek DeepInfer 推理框架发布

DeepSeek 发布了 DeepInfer，这是一个开源的高性能推理框架，为该公司的大规模生产服务提供支持。该框架旨在处理海量推理工作负载，专门支持 DeepSeek-V4.1-Flash 模型，并以 Apache License 2.0 协议发布。

核心架构与特性

DeepInfer 为大规模服务提供了一套优化方案，专注于提高吞吐量并降低延迟。主要特性包括：

• 优化内核： 该框架集成了自定义内核，包括 FlashMLA、DeepGEMM、DeepEP、TileKernels 和 DeepSelect，以及自定义的 TileLang 内核。
• 并行化： 支持先进的并行策略，包括注意力数据并行 (DP)、平衡上下文并行 (CP) 以及带有负载均衡 (EPLB) 的混合专家模型 (MoE) 专家并行 (EP)。
• 解码优化： 特性包括 DSpark 和置信度调度验证以加速解码，以及用于减少预填充开销的 Decoder SWA (滑动窗口注意力) 有界重放。
• 运行效率： 引擎包含用于零开销批处理调度的异步调度器、用于一致结果的批处理不变推理，以及确定性采样能力。
• 结构化输出： DeepInfer 原生支持将模型生成限制为特定格式，如 JSON schema、正则表达式或 EBNF 语法。

硬件支持与要求

DeepInfer 专为异构硬件环境构建，同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。该框架需要 Linux 环境、GCC 13.0 或更高版本以及 Python 3.12。对于 NVIDIA 硬件，需要 CUDA 13，而昇腾平台则需要 CANN 9.2。

值得注意的是，当前版本专注于核心推理引擎，并不包含完整的生产就绪堆栈。用户需要自行提供 KV 缓存系统、跨副本的负载均衡以及预填充和解码阶段的解耦逻辑。

行业背景与社区反响

DeepInfer 的发布引发了关于 AI 基础设施竞争格局的广泛讨论。社区成员指出，该框架对华为昇腾硬件的支持代表了一种战略努力，旨在使 AI 基础设施多样化，摆脱对 NVIDIA 独占生态系统的依赖。

行业观察人士指出，此次发布的时间点非常微妙，恰逢美国政府针对在联邦系统中使用 DeepSeek 产品采取了新的监管行动。虽然一些用户认为该框架是降低大语言模型托管门槛的“游戏规则改变者”，但另一些人强调，该框架是一个专业工具，需要大量的工程投入才能在生产服务规模下进行部署。

"人们不使用华为硬件的主要原因是监管。如果你在美国，你的硬件会被海关直接扣押……只要当权者强制要求，Nvidia 将继续保持其垄断地位，" 一位社区参与者在谈到硬件影响时指出。 — @handle

DeepSeek 承认了现有开源项目的影响，并引用 vLLM、SGLang 和 NVIDIA 的 TensorRT-LLM 作为 DeepInfer 开发的基础灵感来源。