策略梯度与软 Q-learning 的等价

OpenAI 研究者已经在 "soft"（熵正则化） Q-learning 和策略梯度方法之间建立了精确的数学等价关系。这一发现为 Q-learning 方法在估计不准确的 Q 值时仍然保持有效提供了理论解释，暗示这些方法可能在隐式地实施策略梯度更新。

熵正则化强化学习中的理论等价

在熵正则化强化学习框架内应用时，软 Q-learning 与策略梯度方法完全等价。这种等价表明，传统上区分的两种无模型强化学习方法——Q-learning（侧重于价值估计）和策略梯度（侧重于直接策略优化）——在特定的正则化条件下会趋于收敛。

与自然策略梯度的联系

研究进一步确定了标准 Q-learning 方法与自然策略梯度方法之间的联系。这种联系有助于阐明基于价值的方法如何与考虑策略空间几何结构的更高级策略优化技术相关联。

实验验证与性能

OpenAI 在 Atari 基准测试上测试了 Q-learning 和策略梯度的熵正则化版本，得到以下结果：

• 性能： 熵正则化变体的表现与标准版本相当，或略优于这些算法的标准版本。
• 实际应用： 研究者成功构建了一种 Q-learning 方法，其学习动态与 A3C（异步优势演员-评论家）紧密匹配。该具体实现在这些结果上无需目标网络或 $\epsilon$-greedy 探索计划即可获得。

对无模型强化学习的影响

这项工作填补了人们对 Q-learning 有效性理解长期存在的空白。由于 Q 值在实证上常常不准确，理论上的策略梯度桥梁解释了 Q-learning 如何仍能推动成功的策略改进。通过证明软 Q-learning 是策略梯度的一种形式，该研究简化了强化学习算法的概念格局。