OpenAI Gym Retro 发布

OpenAI 已发布 Gym Retro 的完整版本，这是一个专为视频游戏强化学习（RL）研究而设计的平台。通过将可用游戏数量从约 100 款扩展到超过 1,000 款，OpenAI 旨在将强化学习研究从针对单一任务的智能体优化，转向研究智能体在概念相似但视觉外观不同的不同游戏之间的泛化能力。

扩展的游戏库和主机支持

Gym Retro 的完整发布显著扩大了数据集规模，支持跨多个底层模拟器的 1,000 多款游戏。平台包含以下主机的游戏：

• Sega Genesis
• Sega Master System
• Nintendo NES
• Nintendo SNES
• Nintendo Game Boy

初步支持还已添加至 Sega Game Gear、Nintendo Game Boy Color、Nintendo Game Boy Advance 和 NEC TurboGrafx。

游戏集成工具

除了平台本身，OpenAI 还发布了一个集成工具，允许研究人员向 Gym Retro 添加新游戏。只要用户拥有游戏 ROM，该工具即可实现以下功能：

• Memory Location Discovery：寻找特定的内存位置以跟踪游戏状态。
• Save State Creation：为智能体轻松创建存档状态。
• Scenario Design：为 RL 智能体设计特定情景以供解决。
• Input Recording：记录并回放存储按钮输入的 movie 文件。这些文件体积小，因为它们只保存起始状态和按键序列，而不是完整的视频帧，这使得它们在可视化智能体行为或存储人类训练数据时非常有用。

强化学习泛化中的挑战

OpenAI 确定了强化学习研究中两种主要的泛化难度层级：

1. Intra-game Generalization：在同一游戏的不同关卡之间进行泛化（例如 Sonic The Hedgehog）。
2. Inter-game Generalization：在完全不同的游戏之间进行泛化，这是一项更困难的问题，而 Gym Retro 数据集的规模使其成为可能。

奖励收割与错误的奖励函数

OpenAI 观察到，智能体常常进行“奖励收割”——即智能体找到一个循环，快速累积积分（定义的奖励），却没有完成游戏的实际任务。举例包括 Cheese Cat-Astrophe 和 Blades of Vengeance，其中角色被困在无限循环中以最大化得分。

算法性能与奖励密度

当前强化学习算法（如 PPO）的有效性取决于游戏奖励结构的特性：

• Dense Rewards：在像 Gradius 这样的游戏中，击败敌人会频繁获得积分，RL 算法表现良好，因为它们能够获得持续的反馈并逐帧做出反应。
• Sparse Rewards：在需要长期规划或奖励稀少的游戏中，现有算法表现不佳。OpenAI 指出，Gym Retro 数据集中的许多游戏奖励稀疏，这表明需要新的技术来解决这些问题。