amitshekhariitbhu/llm-internals

Learn LLM internals step by step - from tokenization to attention to inference optimization.

LLM Internals 不是一个软件库，而是一个免费的、逐步学习系列，讲解大型语言模型（LLM）在底层如何工作——以一个 README 作为目录，链接到博客和视频。

一个精选的教育集合，教授 LLM 内部原理，“从分词到注意力再到推理优化”。每个主题都是一个链接，指向 YouTube 视频或 outcomeschool.com 上的详细博客文章。没有可下载的代码；整个项目就是 README 索引本身。

任何想真正理解 LLM 内部工作原理的人，而不仅仅是使用它们。语气和结构表明学习者应具备一些基本的 ML/神经网络概念（它用数值示例解释数学）。

由 Amit Shekhar 准备和维护，他是 Outcome School 的创始人（他的 X/Twitter 账号在 README 中有链接）。

README 按大致学习顺序列出主题，从基础概念到高级推理优化。每个条目都有简短描述，说明博客/视频涵盖的内容，以及指向 outcomeschool.com 上内容的直接链接。

基础： LLM、RAG、MCP、Agent、微调、量化（视频）
分词： 什么是分词、字节对编码（BPE）、停止标记
注意力数学： 查询/键/值数学、为什么按 √dₖ 缩放、因果掩码
训练数学： 反向传播、交叉熵损失
架构： Transformer 架构、前馈网络、批归一化与层归一化、RMSNorm、RoPE（旋转位置嵌入）、分组查询注意力
推理优化： KV Cache、Paged Attention、Flash Attention、Speculative Decoding、Medusa、EAGLE、Continuous Batching、Prompt Caching、Prefill 与 Decode
扩展方法： 混合专家（MoE）、LoRA

每个博客条目列出其涵盖的子主题的要点列表（例如，“什么是 Token？”、“BPE 如何工作？”、“数值示例”）。许多文章明确承诺“逐步数值示例”。多个主题也链接了视频。

作者明确表示：“这个系列会随着我写更多博客和制作更多新主题视频而继续增长。继续学习。”列表是持续进行的，在 README 被捕获时尚未完成（提供的文本中关于 LoRA 的最后一个条目在句子中间被截断）。

如果你想要一个结构良好、免费的路径来理解 LLM 实际如何工作——分词、注意力数学、Transformer 内部原理，以及为什么现代推理技巧能加速——这个 README 是一个高质量的教学大纲，链接了教程，而不是一个可运行的项目。

相关