協力し、競争し、コミュニケーションを学ぶ – OpenAI 2017 研究発表

TL;DR

OpenAI は、マルチエージェント強化学習における集中学習と分散実行のための MADDPG アルゴリズムをリリースし、従来の方法よりもエージェントが協力、競争、コミュニケーションをよりよく学べることを示した。

Introduction

リソースを巡ってエージェントが競争するマルチエージェント環境は、AGI へのステップストーンとみなされる。これらは自然なカリキュラムを提供し—難易度は競合者のスキルに合致し—安定した均衡状態がなく、常に改善へのプレッシャーを生み出す。

Where traditional RL struggles

DDPG、アクター・クリティック、ディープ Q‑学習などの従来の分散型 RL アプローチは、各エージェントが自身の行動を行いながら他者の行動を予測しなければならず、特に競争シナリオではマルチエージェント設定で苦戦する。ポリシー勾配法は分散が大きく、クリティックを追加すると安定性は向上するが、協力的コミュニケーションのようなタスクを解決することはまだできない。トレーニング中に他者の行動を考慮することは、協調的戦略を学ぶ上で重要である。

MADDPG algorithm

私たちは、集中学習と分散実行を可能にするために MADDPG（マルチエージェント ディープ ディターミニスティック ポリシー グラディエント）を開発した。このアルゴリズムは、アクター・クリティック手法からヒントを得て DDPG を拡張したものである。

• 各エージェントは、「アクター」として扱われ、「クリティック」からの助言を受けて、トレーニング中にどの行動を強化するかを決定する。
• 標準的な RL では、クリティックは与えられた状態における行動の価値（期待される将来報酬）を予測し、アクターはそれを用いてポリシーを更新する。
• マルチエージェント学習を可能にするため、私たちはクリティックを強化し、すべてのエージェントの観測と行動にアクセスできるようにした（図参照）。
• テスト時にはエージェントは中央クリティックを必要とせず、自身の観測と他エージェントの行動予測に基づいて行動する。
• 各エージェントごとに独立して学習される中央クリティックにより、このアプローチは報酬が相反する敵対的ケースを含む任意の報酬構造をモデル化できる。

Experimental results

私たちは様々なタスクで MADDPG をテストし、すべてのタスクで DDPG よりも優れた性能を示したことを確認した。付属のアニメーションは次のことを示している：

• 特定の場所へ移動する一方で、対向エージェントから意図した場所を隠すために位置を分割して学ぶ 2 つの AI エージェント。
• 1 つのエージェントがもう 1 つのエージェントにランドマークの名前を伝達する。
• 衝突せずにランドマークへ移動するために協調する 3 つのエージェント。

Initial research challenges

MADDPG が登場する以前、分散手法を使用すると、リスナー エージェントは移動先についてのメッセージが一貫していないときに話者を無視するよう学習することがしばしば観察された。リスナーは話者のメッセージに関連付けられたすべての重みをゼロに設定し、実際には自分自身を耳が聞こえなくする。これが起こると、話者がメッセージが正しいかどうかのフィードバックを受け取れなくなるため、回復は困難だった。 最近の階層型強化学習プロジェクトからの手法を試し、リスナーに話者の発話を組み込ませるように強制したが、これはリスナーの注意を引くだけで、話者が関連することを言うべきかを学ぶ助けにはならなかった。 MADDPG の中央クリティックは、他のエージェントの行動に関連する可能性のある発話を話者が学べるように助けることでこの問題に対処する。

Next steps

エージェント モデリングは AI 研究において長い歴史を持ち、過去の研究はタイムステップが少なく状態空間が小さいゲームに焦点を当てていた。ディープラーニングは今では複雑な視覚入力を扱い、RL は長期間にわたる行動学習のためのツールを提供している。 MADDPG を使えば、環境のダイナミクスを知らなくても複数のエージェントを同時に訓練できるため、通信、言語、高次元情報からの学習を含むより広範な問題領域への扉が開かれる。 エージェントの進化に関心のある研究者は、OpenAI の機会を検討するよう招待される。

Authors

Ryan Lowe, Igor Mordatch, Pieter Abbeel, Yi Wu, Aviv Tamar, Jean Harb