半监督文本分类的对抗训练方法

OpenAI 研究者提出了一种将对抗训练和虚拟对抗训练（VAT）应用于文本分类的方法，从而在半监督设置中实现了更好的正则化和利用未标注数据。通过将扰动从原始输入层转移到词嵌入层，研究者在多个基准任务上取得了最先进的结果。

稀疏文本输入的对抗训练适配

对抗训练是监督学习的一种正则化技术，而虚拟对抗训练使得监督算法能够扩展到半监督学习。然而，传统的对抗方法需要在输入向量的众多条目上施加小的扰动。这种方法对于诸如 one-hot 词表示这样的稀疏高维输入无效，因为对单个条目的小改变无法有意义地应用。

为了解决这个问题，研究者将扰动施加在循环神经网络（RNN）内的词嵌入上，而不是施加在原始的 one-hot 输入上。这种转变使得模型能够在一个连续空间中进行正则化，在那里小的扰动在数学上是可行且有效的。

性能和功能

对词嵌入施加对抗扰动已经带来了模型性能的几个关键改进：

• 最先进的结果： 所提出的方法在多个基准任务上实现了最先进的性能，无论是在纯监督还是半监督设置中。
• 减少过拟合： 训练过程中的分析表明，使用这些对抗方法时模型不易过拟合。
• 嵌入质量提升： 可视化和分析表明，所学习的词嵌入相较于标准训练方法质量有所提升。

技术实现与可用性

该研究由 Takeru Miyato、Andrew M. Dai 和 Ian Goodfellow 进行。该实现基于循环神经网络架构，该方法的代码可通过 TensorFlow models research repository 获得。