NVIDIA/cutile-python

解決的問題

cuTile Python 提供了一種使用 Python 寫作高性能 GPU 內核的方法，讓開發者無需撰寫低階的 CUDA C++ 程式碼，即可在 NVIDIA GPU 上表達平行運算。

工作原理

它作為 NVIDIA GPU 的程式語言，根據 Tile IR（中間表示）產生內核。使用者可使用 @ct.kernel 裝飾器定義內核，並透過在資料區塊上使用 load 與 store 操作來管理不同記憶體層級之間的資料移動。

適用對象

希望為高階運算與 AI 工作負載編程 NVIDIA GPU 的開發者，特別是使用 Blackwell、Ampere 或 Ada GPU 架構的使用者。

主要亮點

• 基於 Python 的 GPU 編程：直接在 Python 中撰寫 GPU 內核。
• 基於 Tile 的記憶體管理：明確控制資料區塊的載入與儲存，以實現效能最佳化。
• 與 Tile IR 集成：利用 Tile IR 產生高效能的 GPU 內核。
• 實驗性自動調校：包含一個用於自動調校內核啟動的實驗性套件。