Dao-AILab/quack

A Quirky Assortment of CuTe Kernels

解决的问题

QuACK 提供了一系列针对常见深度学习操作的高性能 GPU 内核，使开发者能够通过 CuTe-DSL 直接从 Python 实现 "光速" 性能，尤其适用于内存受限的内核。

工作原理

该项目使用 CuTe-DSL（NVIDIA GPU 的领域特定语言）实现各种数学运算（内核）。支持现代 NVIDIA 硬件，包括 H100、B200/B300 和 RTX 50 GPU，并提供可选的 JAX 绑定。

适用人群

专为使用高端 NVIDIA GPU 的研究人员和工程师设计，适用于需要对归一化、矩阵乘法（GEMM）等操作进行优化的 GPU 内核，而无需编写低级 CUDA C++ 代码。

主要亮点

  • 针对 RMSNorm、Softmax、交叉熵和 LayerNorm（前向与反向传播）的优化内核。
  • 针对 Hopper 和 Blackwell 架构的专用 GEMM 和后处理（epilogue）实现。
  • 通过可选绑定与 JAX 集成。
  • 支持最新的 CUDA 工具包（12.9+）和 Python 3.12。

相关

  • 项目
    NVIDIA/cutlass

    A collection of CUDA C++ and Python DSL abstractions for implementing high-performance matrix-matrix multiplication (GEMM) and the related linear algebra operations on NVIDIA GPUs.

  • 项目
    NVIDIA/cudnn-frontend

    NVIDIA’s cuDNN Frontend is an open‑source, header‑only C++ API plus Python package that wraps the cuDNN Graph API. It provides easy‑to‑use graph construction, autotuning, and a catalog of open‑source high‑performance kernels (Flash‑Attention, fused GEMM + SwiGLU, block‑sparse attention, etc.) for Hopper/Blackwell GPUs. Install via pip or include the header; integrates with PyTorch and lets researchers and engineers get backend‑level speed without writing CUDA kernels from scratch.

  • 项目
    MoonshotAI/FlashKDA

    基于 CUTLASS 的高性能 CUDA 内核实现，用于 NVIDIA SM90+ GPU 的 Kimi Delta Attention (KDA)，作为 `flash-linear-attention` 库的优化后端。

  • 项目
    lattice/quda

    一个在NVIDIA硬件上运行的格点QCD计算GPU加速库，为各种费米子作用提供优化的狄拉克算子和求解器。

  • 项目
    deepseek-ai/DeepGEMM

    针对 NVIDIA GPU 的高性能 Tensor Core 内核库，提供优化的 GEMM、MoE 和 MQA 内核，以加速 LLM 的训练和推理。