學習溝通：OpenAI 2017 年對新興 AI 語言的研究

總覽

OpenAI 的 2017 年『學習溝通』研究表明，當因合作目標獲得獎勵時，強化學習代理人能夠發明一種基礎且組合式的語言。

訓練設置

代理人被放置在一個具有簡單地標的二維世界中，並被賦予個人目標，這些目標透過與其他代理人溝通時最容易達成。每個代理人在每個時間步可以向群體廣播訊息，並獲得等於所有代理人獎勵總和的獎勵，以鼓勵合作。代理人在環境動作（移動或觀察）與通訊動作（廣播類似詞彙的符號）之間進行選擇。他們會觀察先前的通訊以及所有實體的位置，並將觀察到的訊息存儲在一個私人的遞迴神經網路中。

新興語言特性

產生的語言同時具備基礎性與組合性。基礎性意指每個詞彙都與代理人在環境中直接體驗到的事物相關聯，例如將符號與地標或另一個代理人關聯。組合性意指代理人可以將多個詞彙組合成訊息來表示特定概念，例如指示另一個代理人移動到特定位置。

克服挑戰

早期實驗產生了特殊的通訊模式，阻礙了可解讀性。首先，代理人傾向於以空格重複單一發話，產生類似摩斯電碼的非組合式語言；為每次發話添加小成本並偏好快速完成任務，鼓勵簡潔使用並擴大詞彙量。其次，當給予大量詞彙時，代理人有時會將整個句子編碼為單一詞彙，這將需要指數級的詞彙增長；此情況透過獎勵常用詞彙的使用來抑制，促進緊湊的詞彙表。第三，代理人最初使用如「最上方」或「最左方」之類的空間術語來指代地標，這些術語依賴於全球座標系統；切換到以自我為中心的框架後，這些方向被消除，代理人開始根據地標的顏色屬性來指代地標。

非語言溝通

當代理人無法交換文字訊息時，同樣的訓練框架仍然有效。在此情境下，代理人會即興發揮肢體動作，例如指引、引導或推動一位看不見的隊友朝目標移動，如隨附的動畫所示。

基礎語言 vs 符號語言

與在巨大語料庫上訓練語言模型的方法不同——這些方法缺乏與世界的直接連結，類似於中文房間思想實驗——此方法將語言建基於代理人的感知體驗，旨在更深入理解詞彙與現實之間的關係。

未來方向

團隊計畫提升環境複雜度並擴大代理人可用的動作範圍，以培養超越基本動詞和名詞的更具表達力的語言。隨著發明的語言變得更豐富，人類解讀將變得更困難；因此，一項即將進行的專案將透過讓代理人與說英語的夥伴溝通，將新興語言與英語連結，從而實現自動翻譯。這項跨學科工作將涉及與加州大學柏克萊分校研究人員合作，並歡迎對更智慧語言模型感興趣的人考慮加入 OpenAI 工作。