OpenAI 大規模モデルによる進化 (ELM) 研究

OpenAI は Evolution through Large Models (ELM) を導入しました。これは大規模言語モデル (LLM) を活用して、遺伝的プログラミング (GP) における変異演算子の有効性を高めるフレームワークです。LLM がコード変更の可能性を提案することで、ELM はモデルが事前に学習データを持っていなかった領域でも機能的なプログラムを生成できます。

LLM を用いた遺伝的プログラミングの改善

ELM は遺伝的プログラミングにおける従来のランダム変異演算子を、大規模言語モデルによって駆動される変異に置き換えます。LLM はシーケンシャルなコード変更や修正を含む膨大なデータセットで訓練されているため、人間のプログラマが行うような変更を近似できます。これにより、プログラムの進化はランダム探索よりも効率的に機能的解へと向かうことが可能になります。

ケーススタディ：Sodarace ドメイン

ELM の能力の幅広さを示すために、OpenAI の研究者はこのフレームワークを Sodarace ドメインに適用しました。結果は以下の通りです：

• 機能的プログラムの生成: ELM は MAP-Elites アルゴリズムと組み合わせて、数十万の機能的な Python プログラムを生成しました。
• 事前学習における新規性: これらのプログラムは、元の LLM が事前学習段階で一度も遭遇したことのないドメインで、動作する歩行ロボットを出力しました。
• 新しいモデルのブートストラップ: 生成された機能的な例は、新しい条件付き言語モデルの学習をブートストラップするために使用されました。この新しいモデルは、コンテキストに応じて特定の地形に適した「ウォーカー」（ロボット構成）を出力することができます。

AI 研究への影響

ラベル付きデータが全くない領域で新しいモデルをブートストラップできる能力は、AI 研究の複数の分野に重要な示唆を与えます：

• オープンエンド性: ELM は、ラベル付きデータセットを必要とせずに環境内で新しい機能的アーティファクトを発見する仕組みを提供します。
• 深層学習: このフレームワークは、生成モデルを用いて高品質な合成データを作成し、後続のモデルを訓練する方法を示しています。
• 強化学習: 進化的探索で成功した行動を見つけ、それらをニューラルネットワークに蒸留するプロセスは、複雑な報酬関数や探索に取り組む新たな方法を示唆します。

SUMMARY: OpenAI は、LLM を使用して遺伝的プログラミングを人間らしいコード変異で近似し、未知のドメインで機能的なプログラムを生成する手法「大規模モデルによる進化 (ELM)」を紹介します。

TITLE: OpenAI 大規模モデルによる進化 (ELM) 研究