OpenAI 学者 2018 最终项目

OpenAI 已发布 2018 年学者 cohort 完成的最终项目摘要。这些项目展示了深度学习、强化学习和生成模型在创意艺术、物理仿真和语言分析等领域的应用。

生成音乐与音频

多位学者专注于使用语言建模和生成架构来创作音乐及与音乐相关的内容。

• 古典音乐生成: Christine Payne 开发了一个系统，将语言建模技术适配于使用音符层面和和弦层面的方法来建模古典音乐。该系统利用并行的字符级和词级语言模型生成独奏钢琴或钢琴与小提琴室内乐，并能够针对特定作曲家或风格进行训练。项目包括一个音乐评论家网络，用于区分真实与伪造样本，以及一个识别作曲家的网络。
• 音乐评论生成: Nadja Rhodes 创建了 “Deephypebot”，一个在网络上人类音乐写作上训练的语言模型。该模型以音乐属性为条件，并包含一个特定的训练步骤，以鼓励音乐新闻中常见的“华丽”描述性写作风格。

自然语言处理与语义

2018 年学员的研究聚焦于提升模型在文本中表示意义和语义关系的能力。

• LSTM 中的语义树: Munashe Shumba 探索了在长短期记忆（LSTM）网络中使用语义树，以更好地表示句子中实体之间的关系。
• 语义文本相似度: Dolapo Martins 为 SemEval STS 任务第 4 轨道构建了模型，实验了包括 LSTM、RNN 和 Transformer 架构在内的多种结构，以优化性能。

创意艺术与视觉生成

学者们将生成对抗网络（GAN）和变分自编码器（VAE）应用于视觉艺术和情感表达。

• 艺术构图属性: Holly Grimm 开发了一个艺术构图属性网络，使用预训练的 ResNet50 网络并在八种艺术构图属性上进行微调。该网络被集成到 CycleGAN 中，以基于这些属性的目标值生成艺术构图。
• 情感景观: Hannah Davis 通过使用 GAN、条件 VAE 和多尺度 VAE 实验生成情感景观，将特定情感类别（如喜悦、期待、恐惧、悲伤、惊讶、信任、厌恶和愤怒）进行映射。

物理仿真与落地学习

两个项目聚焦于人工智能与物理或环境世界的交叉。

• 直觉物理: Ifu Aniemeka 构建了一个网络，仅通过观察即可学习空间中物体运动的规则，无需对摩擦、力或动量等物理概念进行显式定义。
• 落地语言学习: Sophia Arakelyan 开发了一个结合自然语言处理和强化学习（RL）的项目，代理根据收到的指令在 Gridworld 环境中达到目标格子，作为落地语言学习的一步。

技术技能获取

学者们报告了在使用行业标准框架和方法论方面的显著技术流畅度提升。关键发展领域包括：

• 框架: 在 TensorFlow、PyTorch 和 Keras 上的熟练度提升。
• 架构: 实践实现循环神经网络（RNN）、LSTM、生成对抗网络（GAN）和变分自编码器（VAE）。
• 方法论: 具备数据生成、特征工程以及强化学习算法应用的经验。