datawhalechina/base-llm

它解决了什么问题

许多开发者直接跳入调用 LLM API 或微调模型，而不理解底层的 NLP 基础。本项目通过提供一条从经典 NLP（词向量、RNN、Transformer）到现代大语言模型（BERT、GPT、Llama）的结构化路径，填补了纯学术理论与浅层 API 使用之间的空白——同时涵盖理论和动手代码。

它是如何工作的

本教程分为六个主要部分：理论基础、实际项目（文本分类、命名实体识别）、参数高效微调和量化（PEFT、LoRA、QLoRA、RLHF）、部署（FastAPI、Docker、Jenkins）、LLM 安全以及多模态前沿。它采用“提问 → 迭代 → 重构”的教学风格，展示简单脚本如何演变为工业级实现。读者从零编写 Transformer 和 Llama2 等核心架构，然后将它们应用于实际任务，例如在私有数据上微调 Qwen2.5 或使用 Docker Compose 部署模型服务。

适合谁

本项目面向学生、从传统机器学习/深度学习转向 LLM 的 AI 算法工程师、希望深入理解架构的 LLM 爱好者，以及需要快速复习 NLP 经典知识的研究人员。先决条件包括扎实的 Python、基本的 PyTorch、基础的深度学习知识以及基础数学（线性代数、概率、梯度下降）。

亮点

• 系统性地覆盖从 NLP 基础到高级 LLM 技术（RLHF、量化、MoE）的演进
• 手写核心架构（Transformer、Llama2），而不仅仅是调用库
• 包含完整的实际项目：文本分类、NER、使用 QLoRA 微调 Qwen2.5 以及模型部署
• 覆盖完整的工程生命周期：训练、量化、推理加速、Docker 容器化和服务部署
• 使用丰富的插图并尽量减少繁重的数学，使学习更易上手