datawhalechina/llm-algo-leetcode

解決する問題

このプロジェクトは、LLM理論の理解と、実際のモデルの実行、測定、最適化との間のギャップに対処します。TransformerとトレーニングループのPyTorch実装から、TritonとCUDAの低レベルGPUカーネルまで、学習者を導く構造化された実践的な道を提供します。モデルがどのように計算、トレーニング、サービスを提供するかを理解するだけでなく、再現可能なベンチマークを実行し、実際のハードウェアをプロファイリングすることで、メモリ、通信、スループット、レイテンシを診断して改善する方法も学べます。

仕組み

このチュートリアルは、実行可能なJupyterノートブックのシリーズとして構成され、5つのパート（パート00からパート05）に分かれています。推奨されるパスは、パート02（PyTorchアルゴリズム実践）から始めて実装の直感を構築し、必要に応じてパート00/01から前提条件を補い、最後にパート03（Tritonカーネル）とパート04（CUDAおよびシステム最適化）に進みます。パート05は、アーキテクチャ決定のための統合プロジェクトとして計画されています。あるいは、学習者は5つの主要な学習ルート（アーキテクチャ進化、トレーニング後最適化、推論最適化、パフォーマンス最適化、オペレーター最適化）から入り、横断的なトピック（量子化、並列性、パフォーマンス分析など）を使用して特定のギャップを埋めることができます。ノートブックには、実行可能なコード、演習セクション、回答セル、基本的な検証が含まれており、プロジェクトは実際のGPU実行、推論バックエンド、プロファイリングツールを使用した証拠に基づく実験を重視しています。

対象読者

PyTorchを通じてトレーニング、ファインチューニング、推論、モデル圧縮を理解したいLLMアルゴリズム学習者、メモリ、プロファイリング、通信、Triton、CUDA、GPU最適化を研究したいパフォーマンスおよびシステム学習者、そしてベンチマーク、実際のGPU実行、推論バックエンドを使用して再現可能なエンジニアリング判断を下したいプロジェクト実践者向けに構築されています。

ハイライト

• ノートブックファースト設計：すべてのレッスンは実行可能なコード、演習、回答セル、基本的な検証を中心に構成されており、変更や実験が容易です。
• 目標指向のエントリ：パート02から実装練習を始めるか、5つの主要な学習ルートとトピックベースのナビゲーションのいずれかに直接ジャンプできます。
• アルゴリズムからシステムへの進行：PyTorch → Triton → CUDAのパスに従い、モデル実装をカーネル最適化、メモリ管理、通信、システムパフォーマンスに結び付けます。
• 証拠に基づくプロジェクト：ベンチマーク、プロファイリング、実際のGPU実行、推論バックエンドを使用して、スループット、レイテンシ、メモリ、品質、コストを比較します。
• 包括的なカバレッジ：パート00〜04は完了しており（継続的に改善中）、Python/PyTorchの基本から生のCUDAまでをカバーしています。パート05は統合プロジェクトとアーキテクチャ決定のために建設中です。