NVIDIA/cutile-python

cuTile is a programming model for writing parallel kernels for NVIDIA GPUs

해결 과제

cuTile Python은 Python 기반 프로그래밍 언어를 사용하여 GPU 커널을 작성하는 방법을 제공하며, NVIDIA GPU에서 병렬 연산을 수행하기 위해 저수준 CUDA C++를 작성해야 하는 번거로움을 없애줍니다.

작동 원리

Tile IR (중간 표현)을 기반으로 커널을 생성합니다. 개발자는 Python 데코레이터(예: @ct.kernel)를 사용하여 커널을 정의하고, load 및 store 작업을 사용하여 메모리와 GPU 타일 간의 데이터 이동을 관리할 수 있습니다. 이러한 커널은 그리드 구성을 통해 GPU에서 실행됩니다.

대상 사용자

C++ 대신 Python을 사용하여 NVIDIA GPU를 프로그래밍하려는 개발자, 특히 Blackwell, Ampere 또는 Ada 아키텍처를 타겟팅하는 개발자에게 적합합니다.

주요 특징

  • Pythonic GPU 프로그래밍: Python으로 직접 병렬 커널 작성 가능.
  • 타일 기반 메모리 관리: 명시적인 load 및 store 작업을 사용하여 데이터 타일 처리.
  • 폭넓은 통합: CuPy와 같은 라이브러리와 연동되며 DLPack을 지원.
  • 하드웨어 지원: NVIDIA Blackwell, Ampere 및 Ada GPU에 최적화.

관련

  • 프로젝트
    NVIDIA/tilus

    Tilus는 공유 메모리와 레지스터에 대한 명시적 제어를 가능하게 하는 타일 수준 GPU 카ーネル 프로그래밍 언어로, 고성능 저정밀도 계산을 지원합니다.

  • 프로젝트
    NVIDIA/cuda-tile

    CUDA Tile IR은 NVIDIA에서 개발한 MLIR 기반 컴파일러 인프라로, 타일 기반 CUDA 커널을 위한 전용 다이얼렉트를 도입합니다. C++ 및 Python API, 바이너리 바이트코드 형식, MLIR에서 바이트코드 또는 cubin으로의 변환 도구를 제공하여 NVIDIA Tensor-Core 유닛을 타겟으로 하는 고성능 커널을 가능하게 합니다. 이 프로젝트는 LLVM/MLIR 기반으로 CUDA Toolkit 13.1과 호환되며, 컨플라이언스 테스트 스위트를 포함합니다. 이는 튜토리얼이나 목록이 아니라 진정한 AI 관련 컴파일러 프로젝트입니다.

  • 프로젝트
    NVlabs/cutile-rs

    CUDA Tile IR을 통한 JIT 컴파일을 사용하여 Rust에서 메모리 안전하고 데이터 경합이 없는 GPU 커널을 작성하기 위한 타일 기반 시스템.

  • 프로젝트
    NVIDIA/cuda-python

    GPU 가속 컴퓨팅을 위해 NVIDIA CUDA 플랫폼에 대한 고수준의 관용적 접근 및 저수준 바인딩 액세스를 모두 제공하는 Python 패키지 모음입니다.

  • 프로젝트
    NVIDIA/TileGym

    타일 기반 GPU 프로그래밍을 최적화하기 위한 딥러닝 연산자 및 LLM 추론을 위한 CUDA Tile 커널 라이브러리로, 튜토리얼과 예제를 제공합니다.