Dao-AILab/quack

A Quirky Assortment of CuTe Kernels

解決的問題

QuACK 提供一系列針對常見深度學習運算的高性能 GPU 內核，讓開發者能透過 CuTe-DSL 直接從 Python 實現「光速」效能，特別適用於記憶體受限的內核。

工作原理

本專案使用 CuTe-DSL（NVIDIA GPU 的領域特定語言）實作各種數學運算（內核）。支援現代 NVIDIA 硬體，包括 H100、B200/B300 和 RTX 50 GPU，並提供可選的 JAX 繫結。

適用對象

專為使用高階 NVIDIA GPU 的研究人員與工程師設計，適用於需要對歸一化、矩陣乘法（GEMM）等運算進行最佳化 GPU 內核，而無需撰寫低階 CUDA C++ 的情境。

主要亮點

  • 面向 RMSNorm、Softmax、交叉熵與 LayerNorm（前向與反向傳播）的優化內核。
  • 面向 Hopper 與 Blackwell 架構的專用 GEMM 與後處理（epilogue）實作。
  • 透過可選繫結與 JAX 整合。
  • 支援最新的 CUDA 工具包（12.9+）與 Python 3.12。

相關

  • 專案
    NVIDIA/cutlass

    A collection of CUDA C++ and Python DSL abstractions for implementing high-performance matrix-matrix multiplication (GEMM) and the related linear algebra operations on NVIDIA GPUs.

  • 專案
    NVIDIA/cudnn-frontend

    NVIDIA’s cuDNN Frontend is an open‑source, header‑only C++ API plus Python package that wraps the cuDNN Graph API. It provides easy‑to‑use graph construction, autotuning, and a catalog of open‑source high‑performance kernels (Flash‑Attention, fused GEMM + SwiGLU, block‑sparse attention, etc.) for Hopper/Blackwell GPUs. Install via pip or include the header; integrates with PyTorch and lets researchers and engineers get backend‑level speed without writing CUDA kernels from scratch.

  • 專案
    MoonshotAI/FlashKDA

    基於 CUTLASS 的高性能 CUDA 內核實作，適用於 NVIDIA SM90+ GPU 的 Kimi Delta Attention (KDA)，作為 `flash-linear-attention` 庫的優化後端。

  • 專案
    lattice/quda

    一個在NVIDIA硬體上運行的格點QCD計算GPU加速庫，為各種費米子作用提供優化之狄拉克算子與求解器。

  • 專案
    deepseek-ai/DeepGEMM

    針對 NVIDIA GPU 的高性能 Tensor Core 核心庫，提供優化的 GEMM、MoE 和 MQA 核心，以加速 LLM 的訓練與推論。