学习交流：OpenAI 2017 年关于涌现 AI 语言的研究

概览

OpenAI 的 2017 年《学习交流》研究表明，强化学习智能体在为合作目标提供奖励时可以发明出基础且组合式的语言。

训练设置

智能体被放置在一个带有简单地标的二维世界中，并被赋予通过与其他智能体通信才能最好实现的个人目标。每个智能体可以在每个时间步向群体广播一条消息，并获得等于所有智能体奖励之和的奖励，以鼓励协作。智能体在环境动作（移动或观察）和通信动作（广播类似单词的符号）之间进行选择。他们观察之前的通信以及所有实体的位置，并将观察到的消息存储在一个私有的循环神经网络中。

出现的语言特性

产生的语言既是基础的也是组合式的。基础意味着每个词都与智能体在其环境中直接体验到的事物相关联，例如将符号与地标或另一个智能体关联。组合式意味着智能体可以将多个词组合成一条消息来表示特定的想法，例如指示另一个智能体移动到特定位置。

克服挑战

早期实验产生了个性化的通信模式，阻碍了可解释性。首先，智能体倾向于在带有空格的情况下重复单个话语，产生类似摩尔斯码的非组合式的语言；为每次话语添加小成本并偏好快速完成任务鼓励了简洁使用和更大的词汇量。其次，当给予大词汇表时，智能体有时会将整个句子编码为一个单词，这将需要指数级的词汇增长；通过奖励使用常用词汇来抑制这种现象，促进紧凑的词汇量。第三，智能体最初使用诸如“顶部最上”或“左侧最左”之类的空间术语来指代地标，这些术语依赖于全局坐标框架；切换到以自我为中心的框架消除了这些方向，并导致智能体通过地标的颜色属性来指代地标。

非语言通信

当智能体无法交换文本消息时，同样的训练框架仍然适用。在这些情况下，智能体会即兴发挥诸如指指、引导或推动一个看不见的队友朝目标移动等身体动作，如随附的动画所示。

基础语言与符号语言

与在巨大文本语料库上训练语言模型的方法不同，那些方法缺乏与世界的直接联系，类似于中文房间思想实验；此方法将语言基础置于智能体的感知体验中，旨在更深入地理解词语与现实之间的关系。

未来方向

团队计划提高环境复杂度并扩大智能体可用的动作范围，以培育超越基本动词和名词的更具表现力的语言。随着所发明语言变得更丰富，人类对其的解释将变得更困难，因此一个即将开展的项目将通过让智能体与说英语的伙伴进行通信来将新兴语言与英语连接，从而实现自动翻译。这一跨学科工作将涉及与加州大学伯克利分校研究人员的合作，并欢迎对更智能语言模型感兴趣的人考虑在 OpenAI 发展职业生涯。