datawhalechina/happy-llm

项目简介

Happy-LLM 是 Datawhale 开源社区推出的系统性大语言模型（LLM）学习教程，目标是从零开始帮助学习者深入理解 LLM 的原理和训练过程，并动手实现自己的大模型。

核心内容

教程分为基础知识和实战应用两部分：

• 基础知识（第1-4章）：从 NLP 基础概念讲起，逐步深入到 Transformer 架构、预训练语言模型（PLM）和大语言模型（LLM）的原理与训练策略。
• 实战应用（第5-8章）：基于 PyTorch 和 Transformers 框架，动手搭建并训练一个完整的 LLaMA2 模型，涵盖预训练、有监督微调、LoRA/QLoRA 高效微调，以及模型评测、RAG（检索增强生成）和 Agent（智能体）等前沿应用。

此外，项目还包含一个 Extra Chapter，收录社区贡献的 LLM 学习笔记和博客，并持续更新。

学习收获

• 深入理解 Transformer 架构和注意力机制
• 掌握预训练语言模型的基本原理
• 了解现有大模型的基本结构
• 动手实现一个完整的 LLaMA2 模型
• 掌握从预训练到微调的全流程
• 实战应用 RAG、Agent 等前沿技术

适合人群

大学生、研究人员、LLM 爱好者。建议具备一定的 Python 编程经验，最好了解深度学习和 NLP 基础概念。

学习方式

• 项目完全免费，提供在线阅读地址和 PDF 版本下载。
• 建议按章节顺序学习，并结合代码实践。
• 不同章节依赖不同，建议使用独立的 Python 环境。
• 遇到问题可在 GitHub Issue 区提问。

如何贡献

欢迎任何形式的贡献：报告 Bug、功能建议、内容完善、代码优化（提交 Pull Request）。

开源协议

采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议（CC BY-NC-SA 4.0）。

其他资源

• 提供配套教学讲义 PPT 资源。
• 提供两个预训练模型（Base 和 SFT 版本）供下载体验。
• 项目由 Datawhale 社区维护，核心贡献者包括宋志学、邹雨衡等。