Tencent/hpc-ops

High Performance LLM Inference Operator Library

解决的问题

HPC-Ops 是一个专为降低大语言模型（LLM）推理延迟并提升吞吐量而设计的高性能操作符库。它聚焦于推理的“热路径”——计算开销最大的操作——这些操作在生产服务环境中常常成为性能瓶颈。

如何工作

该库提供一系列针对现代 NVIDIA GPU（特别是 SM90/H20）深度优化的 CUDA 内核。通过多种先进技术实现性能提升：

  • 融合（Fusion）：将多个操作合并为单个内核，以减少内存流量和内核启动开销。例如，融合 AllReduce、残差加法和 RMSNorm，或将整个采样流水线压缩为两个内核。
  • 动态调度：对于解码注意力，采用贪心的装箱策略在计算单元间均衡负载，降低混合长度请求的尾延迟。
  • 精度优化：支持 BF16 和 FP8，包括一种独特的“路由 GEMM”，通过两个 BF16 Tensor Core GEMM 的线性组合模拟 FP32 精度。
  • 稀疏性：实现块稀疏预填充注意力，跳过长上下文任务中无关的 KV 块。

适用人群

该库适用于构建 LLM 推理框架（如 vLLM 或 SGLang）的 AI 基础设施工程师和开发者，需要在 NVIDIA 硬件上实现生产级、SOTA 性能的用户。

主要亮点

  • 全面的操作符目录：包含 Attention、MoE（专家混合）、GEMM、采样和归一化等优化内核。
  • SOTA 基准测试：在 FlashInfer、TensorRT-LLM 和 cuBLAS 等基线之上实现显著加速（例如，融合采样器最高达 8.5 倍）。
  • 生产环境验证：由腾讯混元 AI 基础设施团队为大规模生产环境开发。
  • 开发者资源：作为使用现代 CUDA 工具（如 CuTe、CUTLASS 和 TMA）构建内核的实用指南。

相关

  • 项目
    flashinfer-ai/flashinfer

    FlashInfer 是一个 GPU 内核库（附带 Python 包），为 LLM 推理提供超高速、低精度的注意力、GEMM、MoE 和采样操作。它能自动为从 Turing 到 Blackwell 的广泛 NVIDIA GPU 选择最佳后端（FlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLM），并已被 vLLM 和 TensorRT-LLM 等主流推理服务器广泛采用。

  • 项目
    inclusionAI/cuLA

    一个针对线性注意力变体（如 KDA 和 Lightning Attention）的高性能 CUDA 内核库，专为 NVIDIA Blackwell 和 Hopper GPU 优化，旨在加速长文本大语言模型。

  • 项目
    deepseek-ai/DeepGEMM

    一个用于大型语言模型的高性能 CUDA 内核库，专门优化 GEMM 与 MoE 运算，具备运行时 JIT 编译功能，并在 NVIDIA SM90/SM100 GPU 上提供极致吞吐量。

  • 项目
    MoonshotAI/FlashKDA

    基于 CUTLASS 的高性能 CUDA 内核实现，用于 NVIDIA SM90+ GPU 的 Kimi Delta Attention (KDA)，作为 `flash-linear-attention` 库的优化后端。

  • 项目
    NVIDIA/TensorRT-LLM

    TensorRT‑LLM 是 NVIDIA 的开源库，可将大型语言模型（以及视觉生成模型）编译成超快的 TensorRT 推理引擎。它提供自定义 CUDA 内核、量化、稀疏注意力、推测解码和多 GPU 并行，在保持准确性的同时，令牌吞吐量提高 2-10 倍。Python 友好的运行时与 Triton、Kubernetes 和 Jetson 集成，并包含 GPT‑OSS‑120B、Llama‑4、DeepSeek‑R1 和扩散模型等模型的文档和示例。