パラメータノイズによる探索の向上

概要

強化学習アルゴリズムのパラメータに適応的なノイズを加えることは、パフォーマンスを向上させることが多く、実装が簡単であり、パフォーマンスが低下することは極めて稀であるため、あらゆる問題において試す価値があります。

パラメータノイズの仕組み

パラメータノイズは、エージェントのニューラルネットワーク・ポリシーのパラメータに直接ランダム性を注入します。これにより、従来の行動空間ノイズ（行動の確率を予測不能に変更するもの）とは異なり、現在の観測に完全に依存したまま、エージェントが行う決定の種類を変化させます。 このアプローチは、進化戦略（ロールアウト中にアクションに影響を与えずにポリシーパラメータを操作する）と、TRPO、DQN、DDPGなどの深層強化学習手法（行動空間にノイズを加えるがパラメータには手を加えない）の中間に位置します。

実証結果

HalfCheetah Gym環境で20エピソード学習させた結果、パラメータノイズを用いて訓練されたポリシーは約3,000のスコアを達成しましたが、従来の行動ノイズを用いて訓練されたポリシーは約1,500にしか達しませんでした。 パラメータノイズは、エージェントが環境をより効果的に探索するのを助け、探索がタイムステップ間で一貫するため、より高いスコアとより洗練された動作につながります。

課題への対処

研究過程で3つの問題が発生しました：ネットワークの層によって摂動に対する感度が異なること、ポリシーの重みの感度が時間とともに変化すること、そして適切なノイズスケールを選択することが難しいことです。 層の感度を均一にするためにLayer normalizationが使用され、摂動を受けた層が同様の分布内に留まるようにしました。 適応的なスキームにより、行動空間への影響を測定し、それをターゲットと比較することで摂動のサイズを調整し、ノイズスケールの問題をより解釈しやすい行動空間へと移行させました。

ベースラインとベンチマーク

パラメータノイズを組み込んだベースラインコードが、DQN、Double DQN、Dueling DQN、Dueling Double DQN、およびDDPG向けに公開されています。 ベンチマークでは、Atariゲームのサブセットにおけるパラメータノイズの有無によるDDQNの比較、およびMujocoの連続制御タスクの範囲におけるDDPGの3つのバリエーションの比較を行っています。

開発の洞察

DQNのQ関数にノイズを適用する初期の実験では、エージェントが同じ行動を繰り返してしまうことがありました。これに対し、別のポリシーヘッドを追加すること（DDPGと同様）でこの問題が軽減されました。 その後の実験では、ノイズの再スケーリングの改善により、別のヘッドは不要であることが示され、同等のパフォーマンスで、よりシンプルでコストの低い実装が可能になりました。 これは、強化学習アルゴリズムがいかに「サイレントに失敗」し得るかを示しており、エンジニアが検出されないバグに対する回避策を構築する必要性を促しています。

著者

Matthias Plappert, Rein Houthooft, Prafulla Dhariwal, Szymon Sidor, Pieter Abbeel, Marcin Andrychowicz, Richard Chen, Xi Chen, Tasmin Asfour