xlite-dev/LeetCUDA

An Open-source book with Modern CUDA learning Notes for Beginners - BF16/FP8/FP4, HGEMM, CuTe, Flash-Attention, etc.

해결하는 문제

LeetCUDA는 AI 및 LLM 커널의 고성능 요구 사항에 특화된 현대 CUDA 프로그래밍을 마스터하기 위한 포괄적이고 체계적인 학습 경로를 제공합니다. 기본 CUDA 지식과 FlashAttention 및 고성능 GEMM(일반 행렬 곱셈)과 같은 최첨단 연산자 구현 사이의 격차를 메웁니다.

작동 방식

이 프로젝트는 오픈소스 책과 200개 이상의 CUDA 커널을 포함하는 리포지토리로 구성되어 있습니다. 단계별 난이도 시스템(Easy부터 Hard++)을 통해 간단한 요소별 연산에서부터 MMA PTX 명령어를 사용한 복잡한 Tensor Core 구현까지 안내합니다. 각 주제는 사용자 정의 CUDA 커널 구현, PyTorch 파이썬 바인딩 생성, 테스트 실행의 워크플로우를 따릅니다.

대상 사용자

딥러닝을 위한 고성능 GPU 커널을 작성하고 싶은 개발자 및 연구자, 초보자부터 고급 LLM 구성 요소 최적화를 원하는 사람까지 모두 대상입니다.

주요 특징

풍부한 커널 라이브러리: 요소 연산, 축소, 고급 행렬 곱셈을 포함한 200개 이상의 커널을 보유합니다.
Tensor Core 숙달: 순수 MMA PTX를 사용한 HGEMM 및 FlashAttention-2의 세부 구현으로 cuBLAS에 근접한 성능을 달성합니다.
에이전트 통합: GitHub Copilot 및 Claude Code와 같은 코딩 에이전트와 통합 가능한 leetcuda-cpp-kernel 스킬을 제공합니다.
포괄적인 문서: 600페이지 이상의 오픈소스 책으로, 40개 이상의 장에 걸친 상세한 설명을 포함합니다.

관련

프로젝트
gau-nernst/learn-cuda
PyTorch 사용자를 위한 CUDA 커널 구현 및 교육 자료 모음. GPU 프로그래밍과 하드웨어 최적화를 배우는 데 도움을 줍니다.
Dispatch
CUDA 학습 경로 탐색: 리소스와 관점
CUDA 프로그래밍 학습을 위한 최고의 도서와 도구를 탐색하며, 기존 문헌에 대한 커뮤니티 피드백과 진화하는 GPU 가속화 환경을 종합적으로 살펴봅니다.
프로젝트
deepseek-ai/DeepGEMM
LLM을 위한 고성능 CUDA 커널 라이브러리로, GEMM 및 MoE 연산을 최적화하며 런타임 JIT 컴파일과 NVIDIA SM90/SM100 GPU에서의 극강의 처리량을 제공합니다.
프로젝트
flashinfer-ai/flashinfer
FlashInfer는 LLM 추론을 위한 초고속, 저정밀도 어텐션, GEMM, MoE, 샘플링 연산을 제공하는 GPU 커널 라이브러리(파이썬 패키지 포함)입니다. Turing부터 Blackwell까지 다양한 NVIDIA GPU를 지원하며, FlashAttention-2/3, cuDNN, CUTLASS, TensorRT-LLM 등 여러 백엔드를 자동으로 선택합니다. 이미 vLLM 및 TensorRT-LLM과 같은 인기 추론 서버에서 사용되고 있습니다.
프로젝트
CVCUDA/CV-CUDA
CV‑CUDA는 NVIDIA의 오픈소스 GPU 가속 컴퓨터 비전 라이브러리입니다. GPU에서 완전히 실행되는 빠르고 확장 가능한 이미지/비디오 연산자(크기 조정, 필터, 색상 변환 등)를 제공하며 C/C++ 및 Python AI 프레임워크와 통합됩니다. Linux용 사전 빌드된 wheel(`cvcuda-cu12` 또는 `cvcuda-cu13`)을 통해 설치하고, `nvimgcodec`으로 이미지를 GPU로 직접 디코딩하며, 딥러닝 모델에 데이터를 공급하기 전에 CV‑CUDA 연산자를 연결할 수 있습니다. 이 라이브러리는 최신 NVIDIA GPU(Turing 이상)를 대상으로 하며 Microsoft Bing 시각적 검색 및 Tencent Cloud 비디오 처리와 같은 프로덕션 시스템에서 사용됩니다.