FFJORD：自由形式連續動力學，用於可擴展的可逆生成模型
FFJORD（Free-form continuous dynamics for scalable reversible generative models）是一種連續時間可逆生成模型，允許使用不受限制的神經網路架構，同時提供無偏的密度估計。此方法透過以可擴展的追蹤估計器取代對雅可比行列式的廉價計算需求，解決了傳統可逆神經網路的可擴展性問題。
透過 Hutchinson 追蹤估計器的可擴展密度估計
FFJORD 允許使用任何神經網路架構來定義生成模型的動力學。在傳統的基於似然的生成模型中，為了將簡單分佈映射到複雜分佈，需要透過可逆網路，而這些架構通常受到限制，以確保雅可比行列式能有效計算。
FFJORD 透過將變換指定為常微分方程（ODE）來克服此限制。當變換由 ODE 定義時，對數密度可以使用雅可比的跡（trace）而非行列式來計算。為了使其具備可擴展性，FFJORD 採用 Hutchinson 的追蹤估計器提供對數密度的無偏估計，從而移除傳統精確似然方法所需的架構限制。
主要功能與技術優勢
FFJORD 相較於先前的可逆生成模型提供了多項技術優勢：
- 不受限制的架構： 與以往模型不同，FFJORD 允許使用任何神經網路架構來建模動力學。
- 無偏密度估計： 透過使用追蹤估計器，模型提供對數密度的無偏估計。
- 一次通過抽樣： 模型支援在單次傳遞中高效抽樣。
- 精確似然方法： 在具備高效抽樣的前提下，FFJORD 在精確似然方法中達到最先進的表現。
實際應用與效能
OpenAI 研究人員在三項主要任務上展示了 FFJORD 的效能：
- 高維密度估計： 模型能在高維空間中估計密度。
- 影像生成： 模型利用其連續動力學生成高品質影像。
- 變分推斷： 模型應用於變分推斷任務，以改善近似後驗分佈。
透過將連續時間動力學與可擴展的追蹤估計器結合，FFJORD 為可擴展的可逆生成模型提供了一個彈性且高效的框架。