walkinglabs/hands-on-modern-rl

它解决了什么问题

强化学习（RL）通常被分为经典和现代两个独立主题，难以看出它们之间的联系。本课程提供了一条从基本交互（如CartPole）到策略优化（PPO），再到语言模型现代方法（RLHF、DPO、GRPO）和智能体AI的单一路径，让学习者理解相同的理念如何驱动经典游戏和前沿AI系统。

它的运作方式

材料分为两部分：经典与深度RL（第1-12章）和现代RL与智能体AI（第13-26章）。每章遵循问题-方法-实验-反思的节奏：具体任务揭示难点，引入所需概念和公式，用可运行代码和训练曲线验证论点，最后检查假设和失败模式。项目还提供14个独立的章节笔记本和12个ModelScope上的Studio伴侣，让学习者在浏览器中无需本地设置即可运行实验。

适合谁

面向希望从理解RL基础到将其应用于现代AI的学习者，包括学生、研究人员和从业者。假设具备一定编程能力（示例使用Python）并愿意钻研数学和代码。

亮点

• 从CartPole到智能体AI的单一学习路径，共26章。
• 公式与实现并置，每个张量都有说明（PPO、DPO、GRPO）。
• 真实训练曲线、消融实验和失败信号展示算法何时有效、何时无效。
• 动手示例包括CartPole、Atari Pong、LunarLander、DPO微调、基于RL的代码生成、Deep Research智能体以及视觉推理（GeoQA）。
• ModelScope上的在线Studio环境和笔记本让你在浏览器中训练经典RL实验。
• 主题涵盖RLHF、DPO、GRPO、可验证奖励强化学习（RLVR）、智能体AI以及多模态/具身RL。