OpenAI Scholars 2018 最終プロジェクト

OpenAIは、2018年のScholarsコホートが完了した最終プロジェクトの概要を公開しました。これらのプロジェクトは、創造的芸術、物理シミュレーション、言語分析において、ディープラーニング、強化学習、生成モデルの応用を示しています。

生成音楽とオーディオ

複数の奨学生は、言語モデルと生成アーキテクチャを用いて音楽や音楽関連コンテンツの作成に取り組みました。

• Classical Music Generation: Christine Payneは、言語モデル技術を適用し、音符単位とコード単位の両アプローチで古典音楽をモデル化するシステムを開発しました。このシステムは、文字レベルと単語レベルの並列言語モデルを利用して、ソロピアノまたはピアノとバイオリンの室内楽を生成し、特定の作曲家やスタイルでの学習が可能です。プロジェクトには、実サンプルと偽サンプルを区別する音楽批評ネットワークと、作曲家を識別するネットワークが含まれています。
• Music Commentary Generation: Nadja Rhodesは、ウェブ上の人間による音楽執筆を学習した言語モデル「Deephypebot」を作成しました。このモデルは音楽属性を条件としており、音楽ジャーナリズム特有の「華やかな」記述スタイルを促す特定のトレーニングステップを含んでいます。

自然言語処理とセマンティクス

2018年のコホートの研究は、モデルがテキスト内の意味やセマンティックな関係を表現する方法の改善に焦点を当てました。

• Semantic Trees in LSTMs: Munashe Shumbaは、Long Short-Term Memory (LSTM) ネットワーク内でセマンティックツリーを使用し、文中のエンティティ間の関係をより適切に表現する方法を探求しました。
• Semantic Textual Similarity: Dolapo Martinsは、SemEval STS TaskのTrack 4向けにモデルを構築し、LSTM、RNN、Transformer アーキテクチャなど様々な構造を実験して性能の最適化を図りました。

クリエイティブアートとビジュアル生成

奨学生は、生成的敵対ネットワーク（GAN）と変分オートエンコーダ（VAE）を視覚芸術と感情表現に適用しました。

• Art Composition Attributes: Holly Grimmは、事前学習済みのResNet50ネットワークを8つのアート構成属性に微調整したArt Composition Attributesネットワークを開発しました。これをCycleGANに統合し、属性の目標値に基づくアート構成を生成します。
• Emotional Landscapes: Hannah Davisは、GAN、条件付きVAE、マルチスケールVAEを用いて感情的な風景の生成を実験し、喜び、期待、恐怖、悲しみ、驚き、信頼、嫌悪、怒りといった特定の感情クラスをマッピングしました。

物理シミュレーションとグラウンドラーニング

2つのプロジェクトは、AIと物理的または環境的世界の交差点に焦点を当てました。

• Intuitive Physics: Ifu Aniemekaは、摩擦、力、運動量といった物理概念の明示的な定義なしに、観察だけで空間内の物体の動きの法則を学習できるネットワークを構築しました。
• Grounded Language Learning: Sophia Arakelyanは、NLPと強化学習（RL）を組み合わせたプロジェクトを開発し、エージェントが受け取った指示に基づいてGridworld環境の目標セルに到達することで、グラウンドラーニング言語学習への一歩となります。

技術スキル習得

奨学生は、業界標準のフレームワークと手法に関する技術的流暢さが大幅に向上したと報告しました。主な開発領域は以下の通りです。

• Frameworks: TensorFlow、PyTorch、Keras の熟練度が向上しました。
• Architectures: Recurrent Neural Networks (RNNs)、LSTMs、Generative Adversarial Networks (GANs)、Variational Autoencoders (VAEs) の実装経験を積みました。
• Methodologies: データ生成、特徴エンジニアリング、強化学習アルゴリズムの適用に関する経験を得ました。