Dao-AILab/quack

What it solves

QuACK 提供了一组用于常见深度学习操作的高性能 GPU kernel，允许开发者直接通过 Python 使用 CuTe-DSL 实现 "speed-of-light" 性能，特别是针对内存受限的操作。

How it works

该项目利用 CuTe-DSL 实现了一系列优化过的 kernel。它支持现代 NVIDIA GPU（H100, B200/B300, 以及 RTX 50 series），并为标准 Python 和 JAX 提供接口。

Who it’s for

它是为使用高端 NVIDIA GPU 的开发者和研究人员设计的，需要对归一化（normalization）和矩阵乘法等基础 AI 操作进行高度优化的实现。

Who it’s for

它是为使用高端 NVIDIA GPU 的开发者和研究人员设计的，需要对归一化（normalization）和矩阵乘法等基础 AI 操作进行高度优化的实现。

Highlights

• RMSNorm, Softmax, Cross Entropy, 和 LayerNorm（包括前向和反向传播）的优化 kernel。
• for Hopper 和 Blackwell 架构的专用 GEMM (General Matrix Multiply) kernel。
• 可选的 JAX bindings，可与 JAX 生态系统无缝集成。
• 支持最新的 CUDA toolkits (12.9+) 和尖端 GPU 硬件。