xlite-dev/LeetCUDA

An Open-source book with Modern CUDA learning Notes for Beginners - BF16/FP8/FP4, HGEMM, CuTe, Flash-Attention, etc.

何を解決するか

LeetCUDAは、AIおよびLLMカーネルの高性能要件に特化した、現代のCUDAプログラミングをマスターするための包括的で構造的な学習パスを提供します。基本的なCUDA知識と、FlashAttentionや高性能GEMM（一般行列乗算）などの最先端演算子の実装の間のギャップを埋めます。

仕組み

このプロジェクトは、オープンソースの書籍と200以上のCUDAカーネルを含むリポジトリとして構成されています。ユーザーを簡単から難易度Hard++までの段階的な難易度システムで導き、要素ごとの演算からMMA PTX命令を使用した複雑なTensor Core実装へと進みます。各トピックは、カスタムCUDAカーネルの実装、PyTorchのPythonバインディングの作成、テストの実行というワークフローに従います。

対象読者

深層学習用の高性能GPUカーネルを書く方法を学びたい開発者や研究者、初心者から高度なLLMコンポーネントの最適化を目指す人まで、幅広く対象としています。

主な特徴

広範なカーネルライブラリ: 要素演算、還元、高度な行列乗算をカバーする200以上のカーネルを含みます。
Tensor Coreの習得: MMA PTXのみを使用したHGEMMおよびFlashAttention-2の詳細な実装により、cuBLASに近いパフォーマンスを達成しています。
エージェント統合: GitHub CopilotやClaude Codeなどのコーディングエージェントと統合可能な leetcuda-cpp-kernel スキルを提供しています。
包括的なドキュメント: 600ページ以上のオープンソース書籍で、40章以上の詳細な解説を含んでいます。

関連

プロジェクト
gau-nernst/learn-cuda
PyTorchユーザー向けのCUDAカーネル実装と教育リソースのコレクション。GPUプログラミングとハードウェア最適化を学ぶためのものです。
Dispatch
CUDA学習パスのナビゲート：リソースと視点
CUDAプログラミングを学ぶための最適な書籍やツールについての探求。利用可能な文献に関するコミュニティのフィードバックと、進化するGPU加速の展望を統合したもの。
プロジェクト
deepseek-ai/DeepGEMM
LLM向けの高パフォーマンスCUDAカーネルライブラリ。GEMMおよびMoE演算を最適化し、実行時のJITコンパイルとNVIDIA SM90/SM100 GPUでの極めて高いスループットを実現します。
プロジェクト
flashinfer-ai/flashinfer
FlashInferは、LLM推論に必要な超高速・低精度のアテンション、GEMM、MoE、サンプリング演算を提供するGPUカーネルライブラリ（Pythonパッケージ付き）です。TuringからBlackwellまでの幅広いNVIDIA GPUに対応し、FlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLMなど複数のバックエンドを自動的に選択。vLLMやTensorRT-LLMなど人気の推論サーバーで既に採用されています。
プロジェクト
CVCUDA/CV-CUDA
CV‑CUDAは、NVIDIAのオープンソースGPUアクセラレーション・コンピュータビジョンライブラリです。高速でスケーラブルな画像/動画オペレータ（リサイズ、フィルタ、色変換など）を提供し、すべてGPU上で実行され、C/C++およびPythonのAIフレームワークと統合されます。Linux用のビルド済みwheel（`cvcuda-cu12`または`cvcuda-cu13`）からインストールし、`nvimgcodec`を使用して画像を直接GPUにデコードし、ディープラーニングモデルにデータを供給する前にCV‑CUDAオペレータをチェーンさせることができます。このライブラリは最新のNVIDIA GPU（Turing以降）をターゲットとしており、Microsoft Bingのビジュアル検索やTencent Cloudの動画処理などの本番システムで使用されています。