OpenAI Scholars 2021: 最終プロジェクト

OpenAIは、2021 Scholarsプログラムから最終プロジェクトをリリースし、スケーリング法則、モデルアーキテクチャ、AIシステムの整合に焦点を当てたさまざまな研究イニシアティブを紹介しています。このプログラムは、代表されていないグループの個人に研究経験を提供し、ディープラーニングの最前線に貢献できるようにすることを目的としています。

スケーリング法則と言語転移

Christina Kimの研究は、異なる言語間での転移学習における英語プレトレーニングの有効性を探求しています。研究では、英語のプレトレーニング済みモデルがドイツ語学習時に最も大きな利益をもたらし、次にスペイン語、そして中国語であることがわかりました。さらに、英語からこれらの3つの言語への転移は、計算量、データ、パラメータの観点で予測可能なスケーリングを示します。

報酬モデリングとフィードバックループ

AIモデルが人間の価値観とデータエコシステムとどのように相互作用するかの研究は、いくつかの学者にとって主要な焦点でした：

大規模報酬モデリング: Jonathan Wardは、報酬モデル（通常は人間のフィードバックで訓練される）が、ウェブサイトから抽出された大規模な構造化フィードバックを使用して訓練できることを示しました。
意見モデリング: Danielle Ensignは、ディープラーニングモデルが意見のエコシステムに与える影響と、以前のモデルの出力に対する反復トレーニングの効果（フィードバックループ）を調査しました。

モデルアーキテクチャと表現学習

いくつかのプロジェクトは、さまざまなAIアーキテクチャの技術的制約とパフォーマンスに焦点を当てました：

対比学習: Ellie Kitanidisは、純粋な対比目的を使用して言語表現モデルをプレトレーニングし、従来の言語モデリング目的と比較してその一般化性とスケーラビリティを研究しました。Legg Yeungは「SET」カードゲームを使用して、ベクトル表現の次元とタスク構成の関係を調査し、Xパラメータの非対比モデルが、2X+パラメータの対比モデルでは解けないゲームを解けることを発見しました。
Transformerバリアント: Shola Oyedeleは、異なるTransformerアーキテクチャバリアントのスケーリング法則を研究し、アーキテクチャがトレーニングコストとモデルパフォーマンスのトレードオフに与える影響を理解しました。
トークン化: Sam Gbafaは、さまざまな言語トークン化スキームのトレードオフとスケーリングを探求し、事前に定義されたものではなく、シーケメントのセグメンテーションを学習するアプローチを含みました。

強化学習と計算効率

この制御と計算ドメインのプロジェクトは、複雑な行動をモデル化し、リソース使用を最適化する方法を探りました：

連続制御: Florentine (Tyna) Eloundouは、「複数のエキスパート、複数の目的」（MEMO）アプローチを開発しました。この方法により、エージェントは異なる目的を持つ複数のエキスパートからの成功例から単一の条件付きポリシーを学習し、スーパーバイザーは自由にそれを方向付けることができます。
テストタイム計算: Kudzo Ahegbebuは、自己回帰Transformer、深平衡モデル、グラフニューラルネットワークにおけるテストタイム計算を活用するモデルの一般化可能性を探求しました。研究では、小さな適応モデルがテストタイム計算を使用して、学習可能なパラメータ数が少ないことによる制限を克服できるかどうかを調査しました。

学者によるディープラーニング研究の洞察

2021年のScholarsは、AI研究に入る人々に向けたいくつかの重要なアドバイスを共有しました：

"My advice to someone starting in deep learning research is to take your time to understand insights from fundamental papers and remember that the field is still relatively new. There’s a lot of room for individuals to have an outsized impact."\n> "If you can, take a few months to carefully work through the 2019 fast.ai course (parts 1 and 2), Andrew Ng’s deep learning course on Coursera, David Silver’s RL Course, and Spinning Up in Deep RL... try to implement a few papers from scratch in pytorch."\n> "Find the simplest interesting idea that you can think of and build it!"\n> "I would recommend slowly stepping through clean open source implementations of well-known algorithms while reading their theoretical grounding."}