OpenAI 学者计划 2020 最终项目

OpenAI 已发布 2020 学者计划的最终项目，涵盖了从大语言模型可解释性到深度学习在神经科学中的应用等多样化的研究议题。这些项目展示了 AI 在信用分配、社会学习和对抗鲁棒性等复杂问题上的应用。

神经网络可解释性与语言模型

2020 年 cohort 的研究重点是模型如何表示信息以及如何通过对抗性输入进行操控。

GPT-2 中的语法表示

Alethea Power 调查了 GPT-2 如何表示英语语法，识别出似乎对应特定语法结构的较小子网络。此工作旨在提升网络效率，并为模型行为和人类认知提供洞见。

通用对抗扰动

Pamela Mishkin 在语言模型的背景下探索了通用对抗样本。研究通过复现结果，为 GPT-2 生成通用对抗触发器，并攻击自然语言推理（NLI）模型，以更好地理解生成模型的脆弱性。

强化学习 (RL) 与智能体行为

多个项目解决了 RL 的基础挑战，特别是奖励稀疏、多智能体交互和模型量化问题。

时序奖励传输 (TRT)

Cathy Yeh 解决了长期信用分配问题——稀疏奖励和行动与效果之间的长延迟阻碍了样本效率。她通过注意力机制识别重要的状态-动作对，并使用“时序奖励传输”将远未来的奖励加入其中，展示了在使用标准优势演员-评论家算法的网格世界实验中学习效果的提升。

多智能体 RL 中的社会学习

Kamal Ndousse 研究了独立 RL 智能体在共享环境中的专业知识社会转移。该项目探讨了新手智能体是否能够通过模仿专家智能体的行为来解决难以探索的任务，而这些任务单独学习时无法完成。

Coinrun 可解释性量化

Jorge Orbay 为在 Procgen 的 Coinrun 上训练的 A2C 模型开发了一个标量指标，用于衡量其可解释性。该指标通过将模型归因与 Coinrun 资产的掩码相结合，以检验多样性假设的有效性。

应用 AI 与语义解析

除了理论性的 RL 与可解释性研究，项目还产出了实用的界面翻译和医学诊断工作。

英文到 GraphQL 的语义解析

Andre Carerra 开发了一个语义解析系统，将英文提示（例如 “How many employees do we have?”）转换为相应的 GraphQL 查询。项目包括自定义数据集的创建、模型训练以及用于结果验证的交互工具。

癫痫发作预测

Kata Slama 将深度学习应用于脑电记录，以预测癫痫发作。她将问题框定为使用脑数据频谱图的图像分类任务，并发现 ResNet18 是该应用中最成功的模型。