NVIDIA/cuda-tile

解決的問題

CUDA Tile IR 透過提供專用的中間表示（IR）與編譯器基礎設施，簡化了高效率 CUDA 內核的開發。它特別針對基於分塊的計算模式優化與 NVIDIA 張量核心單元的使用，減少手動管理記憶體階層與 GPU 特定最佳化所帶來的複雜性。

工作原理

基於 MLIR（多層次中間表示）框架建構，本專案提供一種用於表達分塊計算的領域特定方言。包含用於程式化 IR 建構的 Python 繫結與用於高效序列化的位元組碼格式。程式可從 MLIR 編譯為位元組碼，再透過 CUDA 驅動程式 API 進行即時編譯（JIT），或使用 tileiras 工具提前編譯（AoT）成 cubin 檔案。

適用對象

專為希望使用更高階抽象進行分塊與張量核心最佳化，而非撰寫原始 CUDA 程式碼的高效率 GPU 內核開發者所設計。

主要亮點

• 基於 MLIR 的方言：為基於分塊的計算提供第一級的操作與類型。
• Python API：支援對 IR 進行程式化操作與轉換。
• 彈性編譯：支援即時編譯（JIT）與提前編譯（AoT）兩種路徑。
• 張量核心最佳化：特別設計以針對 NVIDIA 張量核心單元，達成最大效能。