pranjalssh/fast.cu

Fastest kernels written from scratch

解决的问题

该项目提供完全从零开始编写的高性能GPU内核，旨在最大化现代NVIDIA硬件的性能，特别针对AI工作负载中至关重要的矩阵乘法和求和归约操作。

工作原理

针对特定硬件架构（H100 和 GB300）实现自定义CUDA内核。专注于最大化TFLOPs和内存带宽，提供H100上的BF16矩阵乘法实现，GB300上的NVFP4矩阵乘法实现，以及H100的求和归约内核。

适用人群

专注于GPU编程、CUDA优化以及AI推理和训练的高性能计算（HPC）的开发者和研究人员。

主要亮点

  • 在部分基准测试中，H100上的BF16矩阵乘法性能超过cuBLAS。
  • 使用CUDA 13.1支持GB300/B300硬件上的NVFP4矩阵乘法。
  • H100上的求和归约内核性能超越cuBLAS/cub库。

相关

  • 项目
    Dao-AILab/quack

    一组用于深度学习操作（如 RMSNorm 和 Softmax）的高性能 GPU kernel，使用 CuTe-DSL 为现代 NVIDIA GPU 实现。

  • 项目
    facebookresearch/xformers

    为 Transformer 模型提供经过优化的、可定制的构建模块工具箱，通过提供内存高效且高性能的 CUDA 内核来加速研究。

  • 项目
    MoonshotAI/FlashKDA

    基于 CUTLASS 的高性能 CUDA 内核实现，用于 NVIDIA SM90+ GPU 的 Kimi Delta Attention (KDA)，作为 `flash-linear-attention` 库的优化后端。

  • 项目
    Tencent/hpc-ops

    面向 LLM 推理的生产级操作符库，提供针对注意力、MoE 和采样高度优化的 CUDA 内核，以降低服务延迟。

  • 项目
    NVIDIA/cutlass

    一组用于在 NVIDIA GPU 上实现高性能矩阵-矩阵乘法（GEMM）及相关线性代数运算的 CUDA C++ 和 Python DSL 抽象集合。