deepseek-ai/DeepGEMM-Ascend

DeepGEMM-Ascend: clean and efficient matrix multiplication kernel library for Huawei Ascend NPUs

解决的问题

DeepGEMM Ascend 提供了一个专门针对华为昇腾NPU硬件优化的矩阵乘加（GEMM）高性能库。它通过抽象化分形内存布局、对齐要求和地址计算等复杂的硬件特定约束，弥合了高级模型开发与底层硬件效率之间的差距。

工作原理

它是原始 DeepGEMM 库的移植版本，保持了完全的 API 兼容性，因此开发者可以在昇腾NPU上使用与其它平台相同的工作流。该库在昇腾原生原语之上使用了一个轻量级的抽象层，并采用了诸如基于协程的流水线和稀疏数据加载等先进优化技术，以达到接近峰值的硬件性能。它还包含一个即时（JIT）编译运行时，用于为各种矩阵形状生成高效的内核。

适用人群

本项目适用于在华为昇腾硬件上使用 DeepSeek 模型或类似架构的 AI 工程师和研究人员，他们需要为训练和推理工作负载实现最大性能。

亮点

  • 与原始 DeepGEMM 完全 API 兼容，确保无缝的开发体验。
  • 支持包括 BF16、FP8 和 FP4 在内的高效数据格式。
  • 包含针对 MQA（多查询注意力）logits 和 MegaMoE（混合专家模型）层等高级操作的专用内核。
  • 通过隐藏底层硬件复杂性，实现接近峰值的硬件利用率（在某些配置下高达 99.8%）。
  • 提供用于精细控制 NPU 资源的实用函数，例如 AI 核心分配和 JIT 缓存管理。

相关

  • 项目
    vllm-project/vllm-ascend

    vLLM Ascend 是一个硬件插件，让 vLLM LLM 服务引擎能在华为昇腾 NPU 上运行。它支持一系列 Atlas NPU 硬件，需要 Linux、Python 3.10‑3.12、CANN 9.1.0、PyTorch 2.10.0 + TorchNPU，并对应特定 vLLM 版本。该项目提供定期发布、详细文档及活跃社区（Slack、论坛、每周会议）。授权为 Apache 2.0。

  • 项目
    deepseek-ai/DeepGEMM

    一个用于大型语言模型的高性能 CUDA 内核库，专门优化 GEMM 与 MoE 运算，具备运行时 JIT 编译功能，并在 NVIDIA SM90/SM100 GPU 上提供极致吞吐量。

  • 项目
    deepseek-ai/DeepJIT

    DeepJIT是一个仅头文件的C++20库，提供CUDA或华为昇腾内核的即时编译和缓存，并带有友好的PyTorch Python绑定和共享缓存支持。

  • 项目
    deepseek-ai/DeepEP

    DeepEP 是一个用于 Mixture-of-Experts 训练和推理的高性能通信库。它提供 JIT 编译的全对全调度/合并内核、统一的 EPBuffer API、专家复制支持（权重预取和梯度减少），以及实验性的流水线/远程内存原语。专为配备 NVLink/RDMA 的 NVIDIA Hopper（及 Ascend）GPU 设计，使大型 MoE 模型能够在多个 GPU 上高效扩展。

  • 项目
    tile-ai/tilelang-ascend

    一个基于 TVM 的领域特定语言与编译器，用于开发针对华为昇腾 NPU 优化的高性能 AI 计算核心。