強化学習に代わるスケーラブルな選択肢としての進化戦略

OpenAIは、数十年前から存在する最適化手法である進化戦略（Evolution Strategies, ES）が、AtariやMuJoCoといった現代的なベンチマークにおいて、標準的な強化学習（RL）に匹敵する性能を発揮することを発見しました。ESは、バックプロパゲーション（誤差逆伝播法）の必要性を排除し、分散スケーリングを簡素化し、疎な報酬に対する堅牢性を向上させることで、従来のRLにおけるいくつかの不便さを解消します。

進化戦略 vs 強化学習

進化戦略（ES）は、ブラックボックス的な確率的最適化手法として機能します。アクション空間にノイズを注入し、バックプロパゲーションを使用してパラメータを更新することで方策を最適化する従来のRLとは異なり、ESはパラメータ空間に直接ノイズを注入します。

ESアルゴリズム

ESは方策ネットワークをブラックボックスとして扱い、一連のパラメータ（重み）を入力すると、単一の総報酬が出力されます。最適化プロセスは「推測と検証」のサイクルに従います：

摂動 (Perturbation): アルゴリズムはパラメータベクトルを受け取り、ガウスノイズを加えることで、わずかに異なるバージョンの集団を生成します。
評価 (Evaluation): 各候補は環境内で独立して実行され、総報酬が計算されます。
更新 (Update): パラメータベクトルは、獲得した報酬に比例した重みを持つ候補の加重平均として更新されます。

このプロセスは、ランダムな方向に沿った有限差分を用いて、パラメータ空間における期待報酬の勾配を推定することと数学的に等価です。

ESの技術的な利点

ESは、従来のRLアルゴリズムに対していくつかの運用上の利点を提供します：

バックプロパゲーションの排除: ESは方策のフォワードパスのみを必要とするため、バックプロパゲーションや価値関数の推定を必要としません。これにより、実際には2〜3倍高速なコードが可能になり、バイナリネットワークや経路探索のような複雑なモジュールといった、微分不可能な方策の使用が可能になります。
高い並列化可能性: ESのワーカーは、パラメータベクトル全体を同期させるのではなく、わずかなスカラー値（報酬）を通信するだけで済みます。乱数シードを制御することで、ワーカーはローカルで摂動を再構成できます。これにより、数千のCPUコアにスケールアップした際に線形なスピードアップが可能になります。
堅牢性の向上: ESは、RLを失敗させることが多いハイパーパラメータに対して敏感ではありません。例えば、ESはAtariゲームの異なるフレームスキップ設定間で一貫したパフォーマンスを維持しますが、RLは「スケールフリー」ではありません。
一貫した探索: 決定論的な方策を使用することで、ESは方策勾配法でよく見られる「ランダムなジッター」を回避し、環境のより一貫した探索を可能にします。
長期的なクレジット割り当て: ESは、エピソードのタイムステップが多い場合、アクションが長期的な影響を及ぼす場合、または信頼できる価値関数の推定が利用できない場合に特に効果的です。

パフォーマンスとスケーラビリティのベンチマーク

OpenAIは、データ効率と実時間（wall-clock time）に焦点を当て、ESを標準的なRLベンチマーク、特にMuJoCo制御タスクとAtariゲームと比較しました。

MuJoCo制御タスク

ESはTRPOよりもデータ効率は低い（約10倍の差）ものの、スケーラビリティの高さにより実時間に関しては大幅に高速です。80台のマシンで1,440個のCPUを使用した場合、ESは3D MuJoCoヒューマノイドウォーカーの学習に10分を要しましたが、32コアを使用したA3Cでは約10時間かかりました。

Atariゲームプレイ

720コアを使用することで、ESはAtariゲームにおいてA3Cに匹敵する性能を達成し、学習時間を（32コアのA3Cの1日間から）わずか1時間に短縮しました。

実用的な制限と適用範囲

ESは、すべての機械学習手法に代わる普遍的な手法ではありません。OpenAIは主に2つの制限を指摘しています：

パラメータ感度: ESが勾配信号を生成するためには、パラメータへのノイズ付加が異なる行動結果につながる必要があります。OpenAIは、virtual batchnormがこれを軽減するのに役立つことを発見しましたが、ネットワークのパラメータ化に関するさらなる研究が必要です。
疎な報酬の課題: Montezuma’s Revengeのように、報酬を得るために特定のアクションシーケンスが必要な環境では、RLのランダムなアクションが時折成功するのに対し、ESのランダムなパラメータノイズでは成功しない場合があります。

教師あり学習に関する注意: ESは教師あり学習タスク（例：画像分類）を目的としたものではありません。MNIST数字認識タスクのテストでは、教師あり学習は正確な勾配の計算を可能にするため、ESのサンプリングベースのアプローチは非効率であり、ESはバックプロパゲーションよりも最大1,000倍遅い結果となりました。