OpenAI 無監督情緒神經元

OpenAI 已開發出一個無監督系統，能夠在僅以預測 Amazon 評論文本中下一個字元為訓練目標的情況下，學習到高品質的情緒表示。此方法使線性模型能在 Stanford Sentiment Treebank 上達到最先進的情緒分析準確率，達到 91.8% 準確率，而之前的最佳為 90.2%。

高效率情緒分析

無監督的情緒表示在僅使用完整監督系統 30-100 倍少的標註樣本的情況下，即可匹配或超越其性能。具體來說，在 Amazon 評論上預訓練的 L1 正則化模型僅使用 11 個標註樣本即可匹配多通道 CNN 的性能，並僅使用 232 個標註樣本即可匹配最先進的 CT-LSTM 集成模型，而完全監督的方法則使用了 6,920 個樣本。

技術方法論

該系統使用了具有 4,096 個單元的乘法 LSTM（mLSTM），在 8200 萬條 Amazon 評論語料庫上進行訓練。訓練過程在四塊 NVIDIA Pascal GPU 上進行，歷時一個月，每秒處理 12,500 個字元。

若要將 mLSTM 轉換為情緒分類器，OpenAI 研究人員對這 4,096 個單元進行線性組合——這些單元作為代表輸入字串的特徵向量——並利用可用的監督資料學習該組合的權重。

情緒神經元的發現

在對帶有 L1 正則化的線性模型進行訓練期間，OpenAI 發現了一個單一的「情緒神經元」，該神經元對情緒值具有高度預測性。這個單一單元幾乎包含了模型表示中所有的情緒信號。

此發現使得對生成文本的情緒進行直接控制成為可能。透過覆寫此特定情緒神經元的值，模型的輸出可被操縱為更正面或更負面。

字元層級情緒追蹤

情緒神經元會以逐字元的方式調整其值。像「best」或「horrendous」這樣具有強烈指示性的詞彙會導致該神經元值發生顯著變化。

有趣的是，該系統在句子和短語結束後也會進行大幅更新。例如，在句子「And about 99.8 percent of that got lost in the film」中，於「lost」一詞後會發生負向更新，隨後在句子結束時會有更大的更新，儘管「in the film」這個片段本身並不包含任何情緒內容。

對無監督學習的影響

此研究表明，在巨大資料集上訓練大型無監督下一步預測模型，可以是學習通用表示的有效方法。OpenAI 認為此現象不僅限於他們的模型，而是大型神經網路在訓練以預測其輸入的下一個維度或步驟時所具有的一般特性。

局限性與未來方向

OpenAI 確定了幾個可供進一步改進和探索的領域：

• 文件長度： 在包含長文件的資料集上，效能較弱，可能是因為字元層級模型在數千個時間步長上難以保持資訊。階層模型可能是解決此限制的方案。
• 領域分歧： 模型的效能會隨著輸入文本與用於訓練的評論資料分歧而下降。擴大訓練語料庫可能有助於在更廣泛的領域中提升表示能力。
• 跨模態應用： 結果顯示，訓練大型網路以預測影片集合中的下一幀，可能會帶來用於物體、場景和動作分類器的無監督表示。