changyeyu/LLM-RL-Visualized

这个项目是什么？

LLM-RL-Visualized 是一个包含 100 多张原创架构图 的集合，解释大型语言模型（LLM）和强化学习（RL）的工作原理。这些图表涵盖的主题包括：

• LLM / VLM（视觉语言模型）原理
• 训练算法：RL、RLHF、GRPO、DPO、SFT、CoT 蒸馏
• 效果优化和 RAG（检索增强生成）

这是一个视觉学习资源——作者绘制图表，让复杂的 AI 概念更容易理解。

里面有什么？

该仓库分为 11 个部分，每个部分涵盖不同领域：

1. 技术概览图——LLM 和 RL 算法的宏观图表
2. LLM 基础——模型结构、输入/输出层、解码、多模态模型、训练流程
3. SFT（监督微调）——微调技术、LoRA、Prefix-Tuning、损失函数、数据处理
4. DPO（直接偏好优化）——DPO 的工作原理、与 RLHF 的比较、训练图表
5. 免训练优化——CoT（思维链）、搜索策略、采样方法、RAG、函数调用
6. RL 基础——马尔可夫过程、价值函数、DQN、策略梯度、多智能体 RL、模仿学习
7. 策略优化架构——Actor-Critic、PPO、TRPO、GAE、DDPG、GRPO
8. RLHF 和 RLAIF——奖励模型、基于 PPO 的 RLHF、拒绝采样、宪法 AI
9. 推理优化——知识蒸馏、MCTS、best-of-N 采样、多数投票
10. LLM 扩展——量化、位置编码、归一化、剪枝、基准测试
11. 附录——文字说明、参考文献、引用格式

主要特点

• 高分辨率图片：点击任何图表可查看大图，或浏览 .svg 矢量文件（无限缩放、文本可选）
• 双语：提供中文和英文（两个 README 版本）
• 附赠 PDF：包含大型“强化学习算法地图”PDF 和“策略梯度”推导 PDF
• 配套书籍：作者还写了一本书《大模型算法：强化学习、微调与对齐》，提供更详细的图表解释
• 积极维护：作者表示该仓库会持续修正和扩展

适合谁？

任何想要 直观理解 现代 AI 模型如何构建和训练的人——从 LLM 的内部结构到 PPO 和 GRPO 等强化学习算法背后的数学。这些图表旨在让这些密集的主题更容易理解。

如何使用

README 本质上是一个 目录——每个条目链接到一个图表（PNG 或 SVG）并附有简短说明。你可以按主题浏览，点击查看全尺寸图片，并跟随链接到 PDF 文件进行深入阅读。

注意：README 提到该项目在 HelloGitHub 上被推荐，这是一个推荐开源项目的平台。