OpenAI 通过 Q-Ensembles 进行 UCB 探索

OpenAI 通过利用 Q*-函数的集合，提出了一种在深度强化学习中更有效探索的方法。通过将多臂老虎机环境中的 Upper-Confidence Bounds (UCB) 算法适应到 Q-learning 框架，研究人员在 Atari 基准上实现了显著的性能提升。

技术方法：Q-Ensembles 和 UCB

本研究的核心在于将多臂老虎机问题中已确立的探索策略适应到深度强化学习这一更复杂的环境中。

利用 Q-Function 集合

研究人员没有依赖单个 Q-函数来估计动作的价值，而是使用了 Q*-函数这种集合方法使模型能够保持对最优动作价值函数的多个估计，从而提供了一种量化智能体对环境当前知识不确定性的机制。

实现 Upper-Confidence Bounds (UCB)

探索策略基于 Upper-Confidence Bounds (UCB)。在多臂老虎机环境中，UCB 通过结合动作的估计价值和不确定性度量来选择具有高潜在奖励的动作。OpenAI 团队将此逻辑应用到 Q-learning 环境中，使用 Q-函数的集合来推导这些界限。这使得智能体能够优先探索价值高或不确定性大的动作，从而减少传统深度强化学习代理中常见的低效随机探索。

实验结果和基准

所提出的基于 UCB 的探索策略通过在 Atari 基准上的广泛测试得到了验证。

在 Atari 上的性能提升

实验表明，使用 Q-集合进行 UCB 探索在 Atari 游戏中带来了显著的性能提升。这表明，基于集合的探索方法相比标准探索方法更高效，使得智能体能够更快地在稀疏或复杂奖励结构的环境中发现最优策略。