tile-ai/tilelang

해결하는 문제

TileLang은 GEMM, FlashAttention, LinearAttention과 같은 고성능 GPU 및 CPU 커널 개발을 단순화합니다. 간결하고 파이썬스러운 도메인 전용 언어(DSL)를 제공함으로써 개발자가 저수준 최적화를 수동으로 처리할 필요 없이, AI 워크로드에 요구되는 최첨단 성능을 유지할 수 있습니다.

작동 방식

TileLang은 Apache TVM 컴파일러 인프라 위에 구축된 고수준 인터페이스입니다. 개발자는 타일 기반 접근 방식을 사용하여 커널을 정의할 수 있습니다 — 공유 메모리와 조각을 할당하고, T.gemm 및 T.Pipelined 같은 기본 연산을 사용하여 데이터 이동과 계산을 관리합니다. 컴파일러는 이 고수준 설명을 NVIDIA CUDA, AMD ROCm/HIP, Apple Metal, 그리고 CPU용 LLVM을 포함한 다양한 백엔드에 최적화된 코드로 하향 변환합니다.

대상 사용자

다양한 하드웨어 아키텍처에서 머신러닝 모델용 맞춤형 고성능 연산자를 구현해야 하는 커널 개발자 및 AI 엔지니어. 낮은 수준의 GPU 코드를 직접 작성할 필요가 없습니다.

주요 특징

• 다중 백엔드 지원: NVIDIA(SM70~SM120), AMD(CDNA/RDNA), Apple Silicon(Metal), CPU(LLVM)에 대한 네이티브 지원.
• 하드웨어 특화 최적화: Blackwell MXFP8 블록 스케일링 GEMM, Metal 4 협업 텐서, 구조적 희소 행렬 곱셈을 위한 전용 경로 포함.
• 생산성 도구: IDE 지원을 위한 전용 Language Server Protocol(LSP), 컴파일러 단계 디버깅을 위한 IR 트레이스 도구, 패스 시각화 도구 제공.
• 타일 기반 프로그래밍 모델: 파이썬스러운 구문을 사용해 파이프라인 전송과 병렬 연산을 표현하여 수동 메모리 관리의 복잡성을 줄입니다.