OpenAI 進化的ポリシー勾配 (EPG)

OpenAI は、ポリシーではなく損失関数を進化させるメタラーニング手法である Evolved Policy Gradients (EPG) を導入し、強化学習 (RL) エージェントが新しいタスクをより効率的に学習できるようにしました。このアプローチにより、エージェントは類似タスク間の進捗感をエンコードした進化した損失関数を活用することで、ゼロから始める「blank slate」の状態を回避できます。

メタラーニングのための損失関数の進化

EPG は、学習効率と汎化性能を向上させるために、損失関数そのものを進化させることに焦点を当てています。これは、再帰的ポリシーやポリシー初期化の学習に焦点を当てる他のメタラーニング手法とは異なります。OpenAI は、再帰的ポリシーは特定のタスクに過剰適合しやすく、ポリシー初期化は探索に関する表現力が限られていると指摘しています。

損失関数は、実質的に異なるタスク間で最も汎化しやすい対象であると仮定されています。これは、Proximal Policy Optimization (PPO) で使用されるような手作業で設計された損失関数と同じ論理に基づいており、Atari ゲームやロボット制御といった多様な問題に汎用的に適用できます。

汎化性能と「Ant」実験

EPG の汎化能力をテストするために、OpenAI はエージェント（「アリ」）にアリーナの右半分にランダムに配置された目標地点へ歩く課題を与える実験を実施しました。

実験から得られた主な結果は以下の通りです：

• Training: EPG の損失関数は、アリーナの右半分の目標に対して有効になるように進化させました。
• Testing: 損失関数を固定した後、エージェントに左半分の目標が与えられました――これは訓練分布外のタスクです。
• Outcome: エージェントは左へ歩くことに成功し、訓練分布外のタスクへの汎化を示しました。

対照的に、未知のタスクに適応するポリシーを学習する RL2 アルゴリズムはこのシナリオで失敗しました。RL2 は右半分の目標では成功したものの、左半分の目標が提示されると定性的に失敗し、右へ歩き続けました。これは RL2 が特定の訓練タスクに過剰適合したことを示唆しています。

現在の制限と性能と汎用性のトレードオフ

EPG はタスクファミリー内での汎化に有望さを示す一方で、現在は性能と損失関数の汎用性とのトレードオフに直面しています。

• Task Family Limitation: EPG は現在、左右に歩くといった小さなタスクファミリーのみに有効な損失関数しか学習できません。
• Comparison to Standard RL: 標準的な RL の損失関数は非常に汎用的で、Space Invaders のプレイなど、全く異なるスキルにも同じ損失関数を使用できます。一方、EPG の損失関数はまだ、全く異なるタスクに横断的に適用できるほどの汎用性を持っていません。

OpenAI は、EPG が特定のタスクファミリー内で性能を向上させる代わりに、標準的な RL 手法に見られる広範な汎用性を犠牲にしていると結論付けています。