OpenAI リサーチのためのリクエスト 2.0

OpenAI は Requests for Research 2.0 をリリースしました。これは内部研究から導き出された 7 つの未解決問題のセットです。このイニシアチブは、強化学習 (RL)、生成モデル、自動推論における具体的で高インパクトの技術的課題を提供することにより、より広範な研究コミュニティを巻き込むことを目的としています。

強化学習の課題

OpenAI は、強化学習エージェントの安定性と効率性を向上させることに焦点を当てたいくつかの課題を特定しています。

マルチプレイヤーゲーム環境 (Slitherin’)

研究者には、クラシックな Snake ゲームのマルチプレイヤークローンを Gym 環境として実装することが課題となります。目標は、自己対戦と RL アルゴリズムを使用してエージェントを開発し、この環境を解くことです。主要な技術的ハードルには以下が含まれます：

• 環境設計: フルーツを食べて成長し、壁、他の蛇、または自分自身と衝突すると死ぬ複数の蛇がいる大きなフィールドを作成する。
• 自己プレイの不安定性: 自己プレイにしばしば関連する不安定性（GAN の不安定性に似ている）を克服するため、過去のポリシーの分布に対してポリシーのトレーニングを試行する。
• 行動分析: エージェントが攻撃、罠、または競合者を gang up（集団で攻撃）するような複雑な戦略を学習しているかを判定する。

分散 RL におけるパラメータ平均化

このリクエストは、分散 RL アルゴリズムのサンプル複雑度と通信オーバーヘッドに焦点を当てています。OpenAI は、ワーカーを独立して更新し、パラメータを頻繁に平均化しないことで通信帯域幅を削減するパラメータ平均化スキームを探求することを提案しています。潜在的な利益には以下が含まれます：

• 探索の向上: パラメータが異なるエージェントは、探索行動が改善される可能性があります。
• サンプル複雑度: EASGD などのアルゴリズムを含むさまざまな平均化スキームが、全体の学習効率にどのように影響するかを調査します。

生成モデルとアーキテクチャ

OpenAI は、Transformer ベースのモデルの効率と転送可能性についての研究を提案しています。

生成モデルを通じた転移学習

このチャレンジは、多様なタスク群での事前学習が新しいタスクのパフォーマンス向上に寄与するかを探求します。提案された方法論は以下の通りです：

• 11 の Atari ゲームに対するポリシーをトレーニングする。
• それらのゲームのうち 10 つの軌跡から、生成モデル（たとえば Transformer）をフィッティングする。
• 11 番目のゲームでモデルをファインチューニングし、事前学習の利益を定量化する。
• モデルのサイズと 11 番目のゲームで利用可能なデータ量が、転移学習の利益にどのように影響するかを分析する。

線形注意を持つ Transformer

OpenAI は、Transformer のソフトマックス注意機構を線形注意に置き換える方法を探しています。これにより、高速な重みを持つ RNN に Transformer を変換でき、大きなコンテキストでの RL ロールアウトが可能になります。具体的な目標は、線形注意 Transformer を使用して言語モデリングタスクにおいて文字/単語あたりのビット数を同じに保ち、総パラメータ数を大幅に増やさないことです。OpenAI は、これがより高次元の key/value ベクトルを必要とする可能性があると指摘しています。

自動推論

OpenAI は、オリンピアドの不等式問題に対する自動ソリューションを開発するようコミュニティに挑戦しています。これらの問題は、表現は簡単だが解決には巧妙な操作が必要であるという特徴があります。目的は、これらの問題のデータセットを構築し、学習済みポリシーを使用して解探索時の分岐因子を削減することで、それらの大部分を解くことができるプログラムを作成することです。

スタート問題 (ウォームアップ)

研究者が始めやすいように、OpenAI は 2 つの解決済みスタート問題を提供しました：

• LSTM XOR Problem: バイナリシーケンスのパリティを決定する LSTM をトレーニングし、固定長と可変長のバイナリ文字列間のパフォーマンスの違いをテストする。
• Snake Gym Environment: 基本的な Snake ゲームを Gym 環境として実装し、強化学習アルゴリズムで解く。