NVIDIA/cutile-python

cuTile is a programming model for writing parallel kernels for NVIDIA GPUs

解決する課題

cuTile Pythonは、Pythonベースのプログラミング言語を使用してGPUカーネルを記述する方法を提供し、NVIDIA GPUでの並列演算のために低レベルなCUDA C++を記述する必要性を排除します。

仕組み

Tile IR (中間表現) に基づいてカーネルを生成します。開発者はPythonデコレータ (例: @ct.kernel) を使用してカーネルを定義し、load および store 操作を使用してメモリとGPUタイル間のデータ移動を管理できます。これらのカーネルは、グリッド構成を介してGPU上で実行されます。

対象ユーザー

C++ではなくPythonを使用してNVIDIA GPUをプログラミングしたい開発者、特にBlackwell、Ampere、またはAdaアーキテクチャをターゲットとする開発者向けです。

主な特徴

  • PythonicなGPUプログラミング: Pythonで直接並列カーネルを記述可能。
  • タイルベースのメモリ管理: 明示的な load および store 操作を使用してデータタイルを処理。
  • 幅広い統合: CuPyなどのライブラリと連携し、DLPackをサポート。
  • ハードウェアサポート: NVIDIA Blackwell、Ampere、Ada GPU向けに最適化。

関連

  • プロジェクト
    NVIDIA/tilus

    Tilusは、共有メモリとレジスタに対する明確な制御を可能にするタイルレベルのGPUカーネルプログラミング言語であり、高パフォーマンスな低精度計算を実現します。

  • プロジェクト
    NVIDIA/cuda-tile

    CUDA Tile IRはNVIDIAが開発したMLIRベースのコンパイラインフラで、タイル指向のCUDAカーネル用に専用のダイアレクトを導入しています。C++およびPython API、バイナリバイトコード形式、MLIRからバイトコードまたはcubinへの変換ツールを提供し、NVIDIA Tensor-Coreユニットをターゲットとする高性能カーネルを実現します。このプロジェクトはLLVM/MLIRに基づき、CUDA Toolkit 13.1と整合しており、コンプライアンステストスイートを含んでいます。これはチュートリアルやリストではなく、本格的なAI関連のコンパイラプロジェクトです。

  • プロジェクト
    NVlabs/cutile-rs

    CUDA Tile IR を介した JIT コンパイルにより、Rust でメモリ安全かつデータ競合のない GPU カーネルを記述するためのタイルベースのシステム。

  • プロジェクト
    NVIDIA/cuda-python

    GPU加速コンピューティング向けに、NVIDIAのCUDAプラットフォームへの高レベルな慣習的アクセスと低レベルなバインディングアクセスの両方を提供するPythonパッケージのコレクション。

  • プロジェクト
    NVIDIA/TileGym

    ディープラーニング・オペレーターとLLM推論を最適化するための、タイルベースのGPUプログラミングのチュートリアルと例を提供するCUDA Tileカーネルライブラリ。