raiyanyahya/how-to-train-your-gpt

它解决了什么问题

大多数机器学习教程要么太浅（只是调用预构建模型），要么太学术（密集的论文和数学，没有实际示例）。这个项目填补了Python开发者的空白，他们希望真正理解GPT、LLaMA和Mistral等现代大型语言模型的内部工作原理——无需数学或机器学习背景。

它是如何工作的

你按顺序学习12章，每章都有相同的四步结构：一个简单的类比、一个带真实数字的实际示例、完全注释的代码（每一行都说明它做什么和为什么）以及一个图表。除了章节之外，还有28个独立的讲解器深入探讨特定技术（RoPE、注意力、RMSNorm、SwiGLU、KV缓存、采样等），以及两个叙事性走查，追踪一个句子通过整个模型的过程。

你自己逐行构建模型：一个BPE分词器、嵌入、RoPE位置编码、多头注意力、Transformer块、一个完整的151M参数GPT模型、一个训练管道（AdamW、余弦预热、混合精度、梯度累积）和一个推理引擎（KV缓存、温度、top-k/p、束搜索）。默认配置很小（17M参数，在CPU上几分钟内运行），还有一个更大的GPT-2规模配置（151M），需要GPU。

它适合谁

• 对ChatGPT实际工作原理好奇且希望零机器学习先决条件的Python开发者
• 希望深入理解Transformer并愿意阅读约3,500行注释代码的学生
• 评估LLM架构并希望理解RoPE与学习嵌入或RMSNorm与LayerNorm等权衡的工程师
• 在其他教程中迷失在“注意力”部分，需要派对类比和数字示例的人

基础Python（变量、函数、类、pip安装）是唯一先决条件。不需要微积分、线性代数或PyTorch经验——主题会随着学习逐步教授。

亮点

• 12章，7,500多行，28个独立主题讲解器，2个叙事性走查
• 每一行代码都注释了“是什么”和“为什么”——没有黑盒
• 实现了最新的公开文档化解码器专用架构：RoPE、RMSNorm、SwiGLU、预归一化、AdamW、BPE、权重绑定、混合精度
• 每章都有一个配套的Jupyter笔记本，你可以实时运行——在小数据集上几分钟内观察模型学习
• 提供了一个Colab笔记本，用于一键云训练
• 包含微调指南（LoRA、QLoRA、数据准备）和故障排除资源，如损失曲线阅读和FAQ
• 该项目以学习为重点，不是生产库——它教你理解，而不仅仅是使用