OpenAI: GANs、逆强化学习和基于能量的模型之间的联系

TL;DR

OpenAI 已经在生成对抗网络（GANs）、最大熵逆强化学习（IRL）和基于能量的模型（EBMs）之间建立了数学等价关系。这种联系使研究人员能够将这三个领域之一的稳定且可扩展的算法开发应用到其他两个领域，从而解决这三者共有的共同挑战。

Mathematical Equivalence of GANs and IRL

某些逆强化学习（IRL）方法在数学上等价于 GANs。虽然 GANs 使用判别器来学习生成器优化的代价函数，但从观察行为中学习代价函数的核心机制是 IRL（也称为逆最优控制）的核心原则。

具体来说，OpenAI 研究人员已经证明了最大熵 IRL 的基于样本的算法与一个 GAN 之间的等价关系，在这个 GAN 中，生成器的密度可以被评估，并作为额外输入提供给判别器。这一联系表明，GAN 框架本质上是在执行一种与示范模仿学习相似的代价学习过程。

GANs as Energy-Based Models

最大熵 IRL 是基于能量的模型（EBMs）的一个特例。由于最大熵 IRL 与 GANs 之间的等价关系，GANs 可以被解释为训练基于能量的模型的算法。

这种解释将 GANs 与一类更广泛的生成建模技术相连接，这些技术旨在将基于能量的方法与对抗训练相结合。它为识别 GAN 训练过程如何优化底层能量函数以表示数据分布提供了理论基础。

Implications for Algorithm Stability and Scalability

这三个领域——GANs、IRL 和 EBMs——在其训练算法的稳定性和可扩展性方面面临重大挑战。通过正式突出这三个框架之间的联系，OpenAI 旨在使研究人员能够将强化学习和基于能量的建模社区的思想和优化技术迁移到生成对抗网络社区，反之亦然。这种思想的交叉授粉旨在促进更健壮且可扩展的机器学习模型的发展。