NVIDIA/cutile-python

cuTile is a programming model for writing parallel kernels for NVIDIA GPUs

解决的问题

cuTile Python 提供了一种使用基于 Python 的编程语言编写 GPU 内核的方法，消除了在 NVIDIA GPU 上进行并行运算时编写低级 CUDA C++ 的需求。

运作原理

它基于 Tile IR (中间表示) 生成内核。它允许开发者使用 Python 装饰器 (例如 @ct.kernel) 定义内核，并使用 load 和 store 操作管理内存与 GPU 块之间的数据移动。这些内核随后通过网格配置在 GPU 上启动。

适用对象

希望使用 Python 而非 C++ 编程 NVIDIA GPU 的开发者，特别是针对 Blackwell、Ampere 或 Ada 架构的开发者。

特色亮点

  • Pythonic GPU 编程：直接在 Python 中编写并行内核。
  • 基于块的内存管理：使用显式的 load 和 store 操作来处理数据块。
  • 广泛集成：可与 CuPy 等库配合使用，并支持 DLPack。
  • 硬件支持：专门针对 NVIDIA Blackwell、Ampere 和 Ada GPU 进行了优化。

相关

  • 项目
    NVIDIA/tilus

    Tilus 是一种区块级 GPU 内核编程语言，支持对共享内存和寄存器的显式控制，实现高性能低精度计算。

  • 项目
    NVIDIA/cuda-tile

    CUDA Tile IR 是 NVIDIA 开发的基于 MLIR 的编译器基础设施，引入了专用于分块导向 CUDA 内核的方言。它提供 C++ 和 Python API、二进制字节码格式，以及将 MLIR 转换为字节码或 cubin 的工具，支持针对 NVIDIA Tensor-Core 单元的高性能内核。该项目基于 LLVM/MLIR，与 CUDA Toolkit 13.1 对齐，并包含一致性测试套件。这是一个真正的 AI 相关编译器项目，而非教程或列表。

  • 项目
    NVlabs/cutile-rs

    一个基于块（tile）的系统，用于在 Rust 中编写内存安全且无数据竞争的 GPU 内核，并通过 CUDA Tile IR 进行 JIT 编译。

  • 项目
    NVIDIA/cuda-python

    一组 Python 软件包，为 GPU 加速计算提供对 NVIDIA CUDA 平台的高层惯用访问和低层绑定访问。

  • 项目
    NVIDIA/TileGym

    一个 CUDA Tile 内核库，为基于分块的 GPU 编程提供教程和示例，以优化深度学习算子和 LLM 推理。