基于解码器的生成模型的定量分析

OpenAI 研究者提出了一种用于基于解码器的生成模型定量分析的方法。通过使用 Annealed Importance Sampling，团队提供了一种估计那些通常难以计算对数似然的模型的方法，从而能够对模型性能、过拟合和模式崩溃进行更严格的评估。

基于解码器的生成模型的评估

量化基于解码器的生成模型（如变分自编码器（VAEs）、生成对抗网络（GANs）和生成矩匹配网络（GMMNs））的性具挑战性，因为对数似然的估计通常难以计算。仅依赖生成样本的检查可能会产生误导，且无法提供模型捕捉数据分布程度的定量度量。

提出的方法论：Annealed Importance Sampling

为了解决缺乏定量度量的问题，研究者提出使用 Annealed Importance Sampling（AIS）来评估对数似然。该技术允许对由参数化深度神经网络（即解码器）定义的生成分布进行更准确的估计。

为了确保 AIS 估计的准确性，研究者使用双向蒙特卡罗方法验证了结果。此评估框架的实现通过一个公开的 GitHub 仓库提供。

关键分析目标

使用 AIS 技术，研究团队分析了基于解码器模型的几个关键方面：

• 对数似然性能： 测量不同生成架构的实际性能。
• 估计器有效性： 评估现有对数似然估计器相对于所提出方法的表现。
• 过拟合： 确定这些模型在训练数据上的过拟合程度。
• 模式覆盖： 评估模型遗漏数据分布重要模式的程度，从而提供对 '模式崩溃' 现象的定量视角。