OpenAI OT-GAN：使用最优传输改进 GAN

OpenAI 推出了最优传输 GAN（OT-GAN），这是一种生成对抗网络变体，旨在最小化生成器分布与数据分布之间的新距离度量。该方法提升了训练的稳定性，尤其是在使用大批量小批量时，并在多个图像生成基准任务上取得了最新的成果。

小批量能量距离度量

OT-GAN 使用一种称为小批量能量距离的度量。该距离函数旨在具有高度判别性，并在训练期间提供无偏的小批量梯度。它通过结合两个主要技术组件来实现这一点：

• 原始形式的最优传输: 该度量结合最优传输原理来衡量分布之间的距离。
• 对抗学习的特征空间: 能量距离定义在一个通过对抗学习得到的特征空间中，使模型能够更好地区分真实数据和生成数据。

训练稳定性与性能

OT-GAN 在稳定性和性能方面相较于传统 GAN 架构表现出显著提升。研究人员发现，当使用大批量小批量进行训练时，OT-GAN 具有很高的稳定性，而这通常是标准生成对抗网络面临的挑战。

根据作者摘要，这种架构的结果是“具有无偏小批量梯度的高度判别性距离函数”。

对图像生成的影响

通过应用小批量能量距离度量，OT-GAN 在流行的图像生成基准任务上取得了最新的成果。这表明，小批量能量距离方法比以往的 GAN 损失函数提供了更有效的方式来使生成器的分布与目标数据分布对齐。