MathFoundationRL/Book-Mathematical-Foundation-of-Reinforcement-Learning

项目概览

本仓库托管了由 S. Zhao 撰写并由 Springer 出版的书籍 Mathematical Foundations of Reinforcement Learning 的幻灯片 LaTeX 源代码。这些幻灯片使用 LaTeX/Beamer 制作，教授可按需申请用于课程准备。

目的

本书旨在为强化学习 (RL) 提供一份数学化但友好的入门指南。它专注于基本概念、基础问题和经典算法，不仅解释了算法是如何工作的，还解释了它们为何这样设计以及为何有效。

内容与结构

本书包含十章，分为两部分：

• 第一部分： 基础工具
• 第二部分： 算法

各章节之间高度相关，因此应先学习前面的章节。本书通篇使用网格世界 (grid world) 示例来说明概念和算法，使其易于理解。

主要特点

• 数学化但友好： 数学内容的深度经过控制，并提供可选的灰色框材料以供深入探索。
• 说明性示例： 所有示例均使用简单的网格世界任务。
• 核心思想分离： 在介绍算法时，将核心思想与复杂的干扰因素分离开来。
• 连贯的组织： 每一章都建立在前一章的基础上。

目标读者

专为对强化学习感兴趣的高年级本科生、研究生、研究人员和从业者设计。无需具备强化学习背景，但读者应具备一定的概率论和线性代数知识（附录中包含了基础知识）。

作者

S. Zhao – 一位自 2019 年起教授研究生水平强化学习课程的教授。本书源于该课程的讲义。更多信息可在其个人主页和研究组网站上获取。

补充资源

• 课程视频： 作者在 YouTube 和 Bilibili 上提供了免费的课程视频（中英文），观看量已超过 210 万次。它们是对本书的补充。
• 第三方代码和笔记： 许多读者贡献了书中算法的 Python、MATLAB、R 和 C++ 实现，以及中英文学习笔记。这些内容已在 README 中链接，但作者尚未对其进行验证。
• 网格世界环境代码： 作者提供了网格世界环境的代码（Python 和 MATLAB），以便读者测试自己的算法。

重要更新

README 记录了本书的进展：

• 2025年7月： 印刷版的勘误表和错别字修正。
• 2025年6月： GitHub 星标突破 10,000。
• 2024年10月： 书籍封面定稿；由 Springer 和清华大学出版社出版。
• 2024年8月： 星标突破 3,000；添加了更多第三方代码。
• 2024年4月： 发布网格世界环境代码。
• 2024年3月： 星标突破 2,000；小幅更新。
• 2023年9月： 星标突破 1,000。
• 2023年8月： 重大更新 – 草稿的第二个版本。

引用

@book{zhao2025RLBook,
  title={Mathematical Foundations of Reinforcement Learning},
  author={S. Zhao},
  year={2025},
  publisher={Springer Press}
}

以上所有信息均仅来源于所提供的 README。