pranjalssh/fast.cu

Fastest kernels written from scratch

解決的問題

本專案提供完全從零開始撰寫的高效率GPU內核，專為最大化現代NVIDIA硬體的效能而設計，特別針對AI工作負載中至關重要的矩陣乘法與求和歸約運算。

工作原理

針對特定硬體架構（H100 與 GB300）實作自訂CUDA內核。專注於最大化TFLOPs與記憶體頻寬，提供H100上的BF16矩陣乘法實作、GB300上的NVFP4矩陣乘法實作，以及H100用的求和歸約內核。

適用對象

專注於GPU程式設計、CUDA最佳化，以及AI推論與訓練用的高效能運算（HPC）之開發者與研究人員。

主要亮點

  • 在部分基準測試中，H100上的BF16矩陣乘法效能超越cuBLAS。
  • 使用CUDA 13.1支援GB300/B300硬體上的NVFP4矩陣乘法。
  • H100用的求和歸約內核效能超越cuBLAS/cub函式庫。

相關

  • 專案
    Dao-AILab/quack

    一組用於深度學習操作（如 RMSNorm 和 Softmax）的高性能 GPU kernel，使用 CuTe-DSL 為現代 NVIDIA GPU 實作。

  • 專案
    facebookresearch/xformers

    為 Transformer 模型提供經過優化的、可客製化的建構模組工具箱，透過提供記憶體高效且高性能的 CUDA 核心來加速研究。

  • 專案
    MoonshotAI/FlashKDA

    基於 CUTLASS 的高性能 CUDA 內核實作，適用於 NVIDIA SM90+ GPU 的 Kimi Delta Attention (KDA)，作為 `flash-linear-attention` 庫的優化後端。

  • 專案
    Tencent/hpc-ops

    針對 LLM 推論的生產級運算子庫，提供針對注意力、MoE 與取樣高度優化的 CUDA 內核，以降低服務延遲。

  • 專案
    NVIDIA/cutlass

    一組用於在 NVIDIA GPU 上實作高效率矩陣-矩陣乘法（GEMM）與相關線性代數運算的 CUDA C++ 與 Python DSL 抽象集合。