OpenAI Scholars 2020 Final Projects

OpenAIは、2020年のScholarsプログラムの最終プロジェクトを公開しました。これには、大規模言語モデルの解釈可能性から神経科学におけるディープラーニングの応用まで、多岐にわたる研究イニシアチブが含まれています。これらのプロジェクトは、クレジットアサインメント、社会的学習、および敵対的堅牢性における複雑な問題を解決するためのAIの応用を示しています。

Neural Network Interpretability and Language Models

2020年のコホートの研究は、モデルがどのように情報を表現し、どのように敵対的入力によって操作され得るかに重点を置いていました。

Grammatical Representation in GPT-2

Alethea Powerは、GPT-2が英語の文法をどのように表現しているかを調査し、特定の文法構造に対応すると考えられる小さなサブネットワークを特定しました。この研究は、ネットワークの効率を向上させ、モデルの挙動と人間の認知の両方に関する洞察を提供することを目的としています。

Universal Adversarial Perturbations

Pamela Mishkinは、言語モデルの文脈におけるユニバーサル敵対的例を調査しました。この研究には、GPT-2のためのユニバーサル敵対的トリガーを生成するための結果の再現、および生成モデルの脆弱性をより良く理解するためのNatural Language Inference (NLI) モデルへの攻撃が含まれていました。

Reinforcement Learning (RL) and Agent Behavior

いくつかのプロジェクトは、RLにおける根本的な課題、特に報酬の希薄さ、マルチエージェント間の相互作用、およびモデルの定量化に取り組んでいます。

Temporal Reward Transport (TRT)

Cathy Yehは、長期的なクレジットアサインメント問題を扱いました。これは、報酬が希薄で、行動と効果の間に長い遅延がある場合に、サンプル効率が妨げられる問題です。重要な状態-行動ペアを特定するためにアテンションメカニズムを使用し、「temporal reward transport」を介して遠い未来からの報酬でそれらを拡張することで、Yehは標準的なadvantage actor-criticアルゴリズムを使用したグリッドワールド実験において学習の向上を実証しました。

Social Learning in Multi-Agent RL

Kamal Ndousseは、共有環境における独立したRLエージェント間の専門知識の社会的転送について研究しました。このプロジェクトは、初心者のエージェントが、単独では習得できなかったエキスパートエージェントの行動を模倣することで、困難な探索タスクを解決できるかどうかを調査しました。

Quantifying Interpretability in Coinrun

Jorge Orbayは、ProcgenのCoinrunでトレーニングされたA2Cモデルの解釈可能性を測定するためのスカラーメトリックを開発しました。このメトリックは、多様性仮説の妥当性をテストするために、モデルのアトリビューションとCoinrunのアセットのマスクを組み合わせることで作成されました。

Applied AI and Semantic Parsing

理論的なRLと解釈可能性を超えて、このプログラムは実用的なインターフェース翻訳と医療診断に関する研究成果を生み出しました。

English-to-GraphQL Semantic Parsing

Andre Carerraは、英語のプロンプト（例：「How many employees do we have?」）を対応するGraphQLクエリに翻訳するセマンティックパーシング・システムを開発しました。このプロジェクトには、カスタムデータセットの作成、モデルのトレーニング、および結果の検証のためのインタラクションツールが含まれていました。

Epileptic Seizure Prediction

Kata Slamaは、脳の記録にディープラーニングを適用して、てんかんの発作作動を予測しました。脳データのスペクトログラム表現を用いた画像分類タスクとして問題を定式化することで、Slamaは、このアプリケーションにおいてResNet18が最も成功したモデルであることを特定しました。