FFJORD：用于可扩展可逆生成模型的自由形式连续动力学
FFJORD（用于可扩展可逆生成模型的自由形式连续动力学）是一种连续时间可逆生成模型，允许使用无限制的神经网络架构，同时提供无偏的密度估计。该方法通过用可扩展的迹估计器取代对廉价雅可比行列式计算的需求，解决了传统可逆神经网络的可扩展性问题。
通过 Hutchinson 迹估计器实现可扩展的密度估计
FFJORD 使得可以使用任意神经网络架构来定义生成模型的动力学。在传统的基于似然的生成模型中，通过可逆网络将简单分布映射到复杂分布时，通常会限制架构，以确保雅可比行列式能够高效计算。
FFJORD 通过将变换指定为常微分方程（ODE）克服了这一限制。当变换由 ODE 定义时，日志密度可以使用雅可比迹而不是行列式来计算。为了实现可扩展性，FFJORD 使用 Hutchinson 的迹估计器提供日志密度的无偏估计，从而消除对精确似然方法通常所需的架构约束。
关键能力与技术优势
- 无限制的架构： 与之前的模型不同，FFJORD 允许使用任何神经网络架构来建模动力学。
- 无偏密度估计： 该模型通过使用迹估计器提供日志密度的无偏估计。
- 一次性采样： 该模型支持一次性高效采样。
- 精确似然方法： FFJORD 在精确似然方法中实现了最先进的性能，并具有效率高的采样。
实际应用与性能
OpenAI 的研究人员在三个主要任务上展示了 FFJORD 的有效性：
- 高维密度估计： 该模型能够在高维空间中估计密度。
- 图像生成： 该模型利用其连续动力学生成高质量图像。
- 变分推断： 该模型被用于变分推断任务，以改进近似后验分布。
通过将连续时间动力学与可扩展的迹估计器相结合，FFJORD 为可扩展的可逆生成模型提供了灵活高效的框架。