reinforcement-learning: 核心强化学习算法的独立 PyTorch 实现集合

它解决了什么问题

该仓库提供了一系列清晰、独立的强化学习 (RL) 算法代码示例，涵盖了从基础概念到深度强化学习的范围。它通过为每个算法提供单个文件，简化了学习过程，使实现过程易于阅读和研究。

它是如何工作的

该项目根据算法所使用的环境将其分为三个主要类别：

• Grid World: 基础 RL 概念，如 Policy Iteration, Value Iteration, SARSA, Q-Learning, 和 REINFORCE。
• CartPole: 用于解决平衡任务的 Deep Q-Networks (DQN) 和 Proximal Policy Optimization (PPO) 的实现。
• Atari: 应用于 Breakout 和 Montezuma's Revenge 等 Atari 游戏的更高级的 DQN 和 PPO 实现。

适合人群

它专为那些希望通过易读的代码示例以及在现代硬件 (Apple Silicon) 上的基准测试性能指标，来寻求一种实用、动手实践的方法来学习强化学习的人士而设计。

亮点

• 独立实现: 每个算法都包含在单个文件中，以便于查阅。
• 引用: 每个文件都包含原始论文的引用和核心更新方程。
• 现代化的技术栈: 使用 PyTorch 2.11, Gymnasium 1.2, 和 Pygame 进行渲染构建。
• 性能基准测试: 包括在 M3/M4 芯片上运行 Atari 游戏的详细训练时间、RAM 使用量和最终得分。