datawhalechina/llm-algo-leetcode

它解决了什么问题

本项目弥合了理解LLM理论与实际运行、测量和优化真实模型之间的差距。它提供了一条结构化的动手路径，带领学习者从Transformer和训练循环的PyTorch实现，深入到Triton和CUDA中的底层GPU内核。它不仅帮助人们理解模型如何计算、训练和服务，还通过运行可复现的基准测试和分析真实硬件，教会他们如何诊断和改进内存、通信、吞吐量和延迟。

它的工作原理

该教程组织为一系列可运行的Jupyter笔记本，分为五个部分（第00部分到第05部分）。推荐的路径从第02部分（PyTorch算法实践）开始，以建立实现直觉，然后根据需要从第00/01部分补充先决条件，最后进入第03部分（Triton内核）和第04部分（CUDA和系统优化）。第05部分计划作为架构决策的综合项目。或者，学习者可以通过五条主要学习路线进入——架构演进、训练后优化、推理优化、性能优化和算子优化——并使用跨领域主题（量化、并行性、性能分析等）来填补特定空白。笔记本包含可运行代码、练习部分、答案单元格和基本验证，项目强调基于证据的实验，使用真实GPU运行、推理后端和分析工具。

适合谁

本项目面向希望通过PyTorch理解训练、微调、推理和模型压缩的LLM算法学习者；希望研究内存、分析、通信、Triton、CUDA和GPU优化的性能和系统学习者；以及希望使用基准测试、真实GPU运行和推理后端做出可复现工程判断的项目实践者。

亮点

• 笔记本优先设计：每节课都围绕可运行代码、练习、答案单元格和基本验证展开，便于修改和实验。
• 目标导向入口：可以从第02部分开始进行实现练习，或直接进入五条主要学习路线和基于主题的导航。
• 从算法到系统的递进：遵循PyTorch → Triton → CUDA路径，将模型实现与内核优化、内存管理、通信和系统性能联系起来。
• 基于证据的项目：使用基准测试、分析、真实GPU运行和推理后端来比较吞吐量、延迟、内存、质量和成本。
• 全面覆盖：第00–04部分已完成（并持续改进），涵盖从Python/PyTorch基础到原始CUDA的所有内容；第05部分正在建设中，用于综合项目和架构决策。