OpenAI 變分損失自動編碼器研究

OpenAI 已開發出一種整合神經自回歸模型的變分損失自動編碼器（VAE），以選擇性地捨棄無關資訊——例如 2D 圖像的紋理——來學習全域表示。此方法提升了生成模型的性能，在 MNIST、OMNIGLOT 和 Caltech-101 Silhouettes 的密度估計任務上達到最先進的結果。

透過損失自動編碼進行全域表示學習

表示學習的主要目標是隔離觀測資料的特定方面，以便於下游任務如分類。變分損失自動編碼器透過迫使全域潛在程式碼捨棄無關資訊來實現這一點，實際上執行"損失"自動編碼。例如，在 2D 圖像中，模型可以被設計為捕捉全域結構同時忽略詳細紋理。

神經自回歸模型的整合

為了提升生成性能，OpenAI 模型利用神經自回歸模型——具體來說是 RNN、MADE 和 PixelRNN/CNN——作為先驗分布 $p(z)$ 和解碼分布 $p(x|z)$。此架構組合使模型相較於標準 VAE 能產出更高品質的生成樣本並進行更準確的密度估計。

基準測試與性能

透過將 VAE 與自回歸模型結合，研究團隊在以下特定資料集的密度估計任務上達成了新的最先進結果：

• MNIST
• OMNIGLOT
• OMNIGLOT
• Caltech-101 Silhouettes