xlite-dev/LeetCUDA

An Open-source book with Modern CUDA learning Notes for Beginners - BF16/FP8/FP4, HGEMM, CuTe, Flash-Attention, etc.

解决的问题

LeetCUDA 为掌握现代 CUDA 编程提供了一条全面且结构化的学习路径，特别针对 AI 和 LLM 内核的高性能需求。它弥合了基础 CUDA 知识与实现 FlashAttention 和高性能 GEMM（通用矩阵乘法）等前沿算子之间的差距。

工作原理

该项目以开源书籍和包含 200 多个 CUDA 内核的对应仓库的形式组织。它通过分层难度系统（从简单到 Hard++），引导用户从简单的逐元素操作逐步过渡到使用 MMA PTX 指令的复杂 Tensor Core 实现。每个主题都遵循实现自定义 CUDA 内核、创建 PyTorch Python 绑定、运行测试的工作流程。

适用人群

适用于希望学习如何为深度学习编写高性能 GPU 内核的开发者和研究人员，从初学者到希望优化高级 LLM 组件的人群。

主要亮点

  • 丰富的内核库：包含超过 200 个内核，涵盖逐元素操作、归约操作以及高级矩阵乘法。
  • Tensor Core 掌握：使用纯 MMA PTX 实现 HGEMM 和 FlashAttention-2，性能接近 cuBLAS。
  • 智能体集成：提供 leetcuda-cpp-kernel 技能，可与 GitHub Copilot 和 Claude Code 等编码智能体集成。
  • 全面的文档：一本超过 600 页的开源书籍，包含 40 多章的详细解释。

相关

  • 项目
    gau-nernst/learn-cuda

    面向 PyTorch 用户的 CUDA 内核实现与教育资料集合，用于学习 GPU 编程与硬件优化。

  • Dispatch
    探索 CUDA 学习路径：资源与观点

    探索学习 CUDA 编程的最佳书籍和工具，综合了社区对现有文献的反馈以及 GPU 加速领域不断演变的格局。

  • 项目
    deepseek-ai/DeepGEMM

    一个用于大型语言模型的高性能 CUDA 内核库，专门优化 GEMM 与 MoE 运算，具备运行时 JIT 编译功能，并在 NVIDIA SM90/SM100 GPU 上提供极致吞吐量。

  • 项目
    flashinfer-ai/flashinfer

    FlashInfer 是一个 GPU 内核库（附带 Python 包），为 LLM 推理提供超高速、低精度的注意力、GEMM、MoE 和采样操作。它能自动为从 Turing 到 Blackwell 的广泛 NVIDIA GPU 选择最佳后端（FlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLM），并已被 vLLM 和 TensorRT-LLM 等主流推理服务器广泛采用。

  • 项目
    CVCUDA/CV-CUDA

    CV‑CUDA 是 NVIDIA 的开源 GPU 加速计算机视觉库。它提供快速、可扩展的图像/视频算子（调整大小、滤镜、色彩转换等），这些算子完全在 GPU 上运行，并与 C/C++ 和 Python AI 框架集成。通过 Linux 的预构建 wheels (`cvcuda-cu12` 或 `cvcuda-cu13`) 进行安装，使用 `nvimgcodec` 将图像直接解码至 GPU，并在将数据馈送至深度学习模型之前串联 CV‑CUDA 算子。该库针对现代 NVIDIA GPU (Turing 及更新版本) 设计，并应用于 Microsoft Bing 视觉搜索和 Tencent Cloud 视频处理等生产系统中。