基于能量的模型（EBMs）的隐式生成与泛化方法

OpenAI 开发了用于稳定且可扩展地训练能量模型（EBMs）的方法，从而提高了样本质量和泛化能力。EBMs 通过为每个输入数据点分配一个未归一化的概率标量，即“能量”，为传统生成模型提供了一种灵活的替代方案，允许通过迭代优化进行隐式生成。

通过迭代优化进行隐式生成

EBMs 使用基于 Langevin dynamics 的迭代优化过程来隐式生成样本，该过程涉及在能量函数上执行带噪声的梯度下降，以达到低能量配置。这种方法与 GANs、VAEs 和 Flow-based 模型不同，因为它不需要显式的神经网络来生成样本。

这种隐式生成方法提供了三个主要的技术优势：

Adaptive Computation Time：模型可以进行短时间的序列优化以产生粗糙样本，或者进行更长时间的优化以产生清晰、多样化的样本。在无限时间的极限情况下，已知该过程可以从能量模型中生成真实的样本。
不受生成器网络约束：与必须学习从连续空间到潜在不连贯的数据模态空间的映射的 VAEs 和 Flow-based 模型不同，EBMs 可以轻松地为不相交的区域分配低能量。
内置组合性：由于 EBMs 表示未归一化的概率分布，因此它们可以自然地使用 product of experts 或其他层次结构进行组合。

生成能力与应用

EBMs 可以产生定性和定量上都高质量的图像，且随着测试时优化过程运行时间越长，质量就会越高。OpenAI 通过几个应用展示了这些能力：

图像操作：模型可以执行图像自动补全（inpainting）和将图像从一个类别变形为另一个类别（例如，将卡车变形为青蛙）。
机器人动力学：EBMs 可以生成跨越多个时间步长的稳定机器人动力学轨迹。虽然前馈模型通常会坍缩到平均预测，但 EBMs 可以从相同的起始状态生成一组多样化的可行未来轨迹。

泛化与鲁棒性

与 Flow-based 和 autoregressive 模型等似然模型相比，基于能量的模型在涉及分布外（out-of-distribution）数据集的分类任务中表现出卓越的性能。

此外，条件 EBMs 对对抗性扰动表现出强大的泛化能力。OpenAI 指出，尽管 EBM 并非专门为分类而训练，但其模型在分类方面的表现优于专门针对对抗性扰动进行训练的模型。

训练观察与经验教训

OpenAI 在训练 EBMs 期间识别出了几个挑战和观察结果：

HMC Limitations：原生 Hamiltonian Monte Carlo (HMC) 难以应用于 EBM 训练，因为在训练过程中，最优步长和 leapfrog 模拟次数会发生显著变化。
Ensemble Training：训练能量函数的集成（ensembles）提供了一些好处，但不足以证明其增加的复杂性是合理的。
Gradient Penalties：发现添加梯度惩罚项是行不通的，因为它似乎阻碍了采样和模型容量。

未来方向：组合性

初步结果表明，多个 EBMs 可以通过 product of experts 模型进行组合。在一个 2D 实验中，OpenAI 训练了一个模型学习固定位置的不同大小的形状，另一个模型学习不同位置的相同大小的形状。通过组合这些模型，系统可以生成不同位置、不同大小的形状，即使它从未见过两个变量同时变化的示例。