半教師ありテキスト分類のための敵対的訓練手法

OpenAIの研究者は、テキスト分類に敵対的訓練および仮想敵対的訓練（VAT）を適用する手法を導入し、これにより半教師あり設定においてより良い正則化とラベルなしデータの利用が可能となった。生の入力レベルから単語埋め込みレベルへ摂動をシフトさせることで、研究者は複数のベンチマークタスクにおいて最先端の結果を達成した。

疎なテキスト入力に対する敵対的訓練の適応

敵対的訓練は教師あり学習の正則化技術として機能し、仮想敵対的訓練は教師ありアルゴリズムを半教師あり学習に拡張することを可能にする。ただし、従来の敵対的手法では、入力ベクトルの多数のエントリに小さな摂動を加える必要がある。このアプローチは、単語のワンホット表現のような疎で高次元の入力に対して効果がなく、単一エントリへの小さな変更を意味ある形で適用することはできない。

この問題を解決するために、研究者は元のワンホット入力ではなく、リカレントニューラルネットワーク（RNN）内の単語埋め込みに摂動を適用した。このシフトにより、モデルは小さな摂動が数学的に実行可能かつ効果的である連続空間で正則化されるようになる。

性能と機能

単語埋め込みに敵対的摂動を適用することで、モデルの性能においていくつかの重要な改善がもたらされた：

• 最先端の結果: 提案された手法は、純粋な教師ありおよび半教師ありの両方の設定において、複数のベンチマークタスクで最先端の性能を達成した。
• 過学習の低減: 訓練プロセス中の分析から、これらの敵対的手法を使用するとモデルが過学習に陥りにくいことが示されている。
• 埋め込みの品質向上: 可視化と分析から、学習された単語埋め込みは標準的な訓練方法と比較して品質が向上していることが示されている。

技術的実装と利用可能性

この研究は、Takeru Miyato、Andrew M. Dai、Ian Goodfellowによって行われた。実装はリカレントニューラルネットワークアーキテクチャに基づいており、この手法のコードはTensorFlow models research repositoryを通じて利用可能である。