能量基模型的隱式生成與泛化方法

OpenAI 開發了用於穩定且具擴展性訓練能量基模型（EBMs）的方法，從而提高了樣本品質與泛化能力。EBMs 提供了一種比傳統生成模型更具彈性的替代方案，它為每個輸入數據點分配一個未歸一化的機率純量，即「能量」，從而允許透過迭代優化進行隱式生成。

透過迭代優化進行隱式生成

EBMs 使用基於 Langevin dynamics 的迭代優化過程來隱式生成樣本，這涉及在能量函數上執行帶噪聲的梯度下降，以達到低能量配置。這種方法與 GANs、VAEs 和 Flow-based 模型不同，因為它不需要顯式的神經網絡來生成樣本。

這種隱式生成方法提供了三個主要的技術優勢：

• Adaptive Computation Time：模型可以進行短時間的序列優化以產生粗糙樣本，或進行較長時間的優化以產生清晰且多樣化的樣本。在無限時間的極限下，已知此程序可以從能量模型中生成真實樣本。
• 不受生成器網絡限制：與必須學習從連續空間到可能不連續的數據模式空間之映射的 VAEs 和 Flow-based 模型不同，EBMs 可以輕鬆地為不相交的區域分配低能量。
• 內建組合性：由於 EBMs 代表未歸一化的機率分佈，它們可以自然地使用 product of experts 或其他層級結構進行組合。

生成能力與應用

EBMs 可以產生在定性與定量上都高品質的圖像，且隨著測試時優化過程運行時間越長，品質會隨之提高。OpenAI 展示了這些能力透過以下幾個應用：

• 圖像操作：模型可以執行圖像自動補全（inpainting）以及將圖像從一個類別變換為另一個類別（例如，將卡車變換為青蛙）。
• Robot Dynamics：EBMs 可以生成跨越許多時間步長的穩定機器人動力學軌跡。雖然前饋模型通常會崩塌至平均預測，但 EBMs 可以從相同的起始狀態生成一組多樣化的可行未來軌跡。

泛化與魯棒性

與 Flow-based 和 autoregressive 模型等似然模型相比，能量基模型在涉及分布外（out-of-distribution）數據集的分類任務中展現出卓越的性能。

此外，條件式 EBMs 對對抗性擾動（adversarial perturbations）展現出強大的泛化能力。OpenAI 指出，儘管 EBM 並未針對分類進行專門訓練，但其模型在分類表現上優於那些針對對抗性擾動進行顯式訓練的模型。

訓練觀察與經驗教訓

OpenAI 在訓練 EBMs 期間發現了幾個挑戰與觀察結果：

• HMC Limitations：原生 Hamiltonian Monte Carlo (HMC) 很難應用於 EBM 訓練，因為最佳步長與 leapfrog simulation 次數在訓練過程中會顯著變化。
• Ensemble Training：訓練能量函數的集成（ensembles）提供了一些好處，但不足以證明其增加的複雜度是合理的。
• Gradient Penalties：發現添加梯度懲罰項（gradient penalty term）並不成功，因為它似乎阻礙了採樣與模型容量。

未來方向：組合性

初步結果顯示，多個 EBMs 可以透過 product of experts 模型進行組合。在一個 2D 實驗中，OpenAI 訓練了一個模型學習固定位置的不同大小的形狀，另一個模型學習不同位置的相同大小的形狀。透過組合這些模型，系統可以生成不同位置的不同大小的形狀，即使它從未見過兩個變量同時變化的範例。