半監督式文本分類的對抗訓練方法

OpenAI 研究人員提出了一種方法，將對抗訓練和虛擬對抗訓練（VAT）應用於文本分類，從而實現更好的正則化並利用半監督學習中的未標註資料。透過將擾動從原始輸入層級轉移到詞嵌入層級，研究人員在多個基準任務上達到了最先進的成果。

適應稀疏文本輸入的對抗訓練

對抗訓練作為監督學習的正則化技術，而虛擬對抗訓練則使監督學習算法能夠擴展到半監督學習。然而，傳統的對抗方法需要在輸入向量的眾多條目上施加小的擾動。此方法對於像 one-hot 詞表示這樣的稀疏、高維輸入無效，因為對單個條目的小改變無法有意義地應用。

為了解決此問題，研究人員將擾動應用於循環神經網路（RNN）內的詞嵌入，而不是原始的 one-hot 輸入。此轉移使模型能夠在連續空間中進行正則化，在那裡小的擾動在數學上是可行且有效的。

性能與能力

對詞嵌入施加對抗擾動已帶來模型性能的幾項關鍵改進：

• 最先進的成果: 所提出的方法在多個基準任務上達成了最先進的性能，無論是在純監督學習還是半監督學習環境中。
• 減少過擬合: 訓練過程中的分析顯示，使用這些對抗方法時，模型較不容易過擬合。
• 嵌入品質提升: 可視化和分析表明，所學得的詞嵌入品質相較於標準訓練方法有所提升。

技術實作與可用性

此研究由 Takeru Miyato、Andrew M. Dai 和 Ian Goodfellow 進行。該實作基於循環神經網路架構，該方法的程式碼可透過 TensorFlow models research repository 取得。