NVIDIA/cuda-tile

해결하는 문제

CUDA Tile IR는 고성능 CUDA 커널 개발을 단순화하기 위해 전용 중간 표현(IR)과 컴파일러 인프라를 제공합니다. 특히 타일 기반 계산 패턴의 최적화와 NVIDIA 텐서 코어 유닛의 활용을 타겟으로 하여, 메모리 계층 관리 및 GPU 전용 최적화를 수동으로 처리하는 복잡성을 줄입니다.

작동 방식

MLIR(Multi-Level Intermediate Representation) 프레임워크를 기반으로 하며, 타일 계산을 표현하기 위한 도메인 특화 다이얼렉트를 제공합니다. 프로그램적 IR 생성을 위한 Python 바인딩과 효율적인 직렬화를 위한 바이트코드 형식도 포함되어 있습니다. 프로그램은 MLIR에서 바이트코드로 컴파일된 후 CUDA 드라이버 API를 통해 JIT 컴파일하거나, tileiras 도구를 사용해 사전 컴파일(AoT)하여 cubin 파일로 변환할 수 있습니다.

대상 사용자

타일링과 텐서 코어 최적화를 고수준 추상화로 사용하고 싶은 고성능 GPU 커널 개발자를 위한 것입니다. 원시 CUDA 코드를 직접 작성하는 대신, 더 추상적인 접근을 원하는 개발자에게 적합합니다.

주요 특징

• MLIR 기반 다이얼렉트: 타일 기반 계산에 특화된 1급 연산과 타입을 제공합니다.
• Python API: IR의 프로그램적 조작과 변환을 가능하게 합니다.
• 유연한 컴파일: Just-In-Time(JIT) 및 Ahead-of-Time(AoT) 컴파일 경로를 모두 지원합니다.
• 텐서 코어 최적화: NVIDIA 텐서 코어 유닛을 최대한 활용하도록 특별히 설계되었습니다.