OpenAI MADDPG: 協力、競争、そしてコミュニケーションの学習
OpenAIは、エージェントが協力、競争、およびコミュニケーションを学習する必要があるマルチエージェント環境向けに設計された、新しい強化学習（RL）アルゴリズムであるMADDPGを開発しました。集中学習と分散実行を活用することで、MADDPGはエージェントが行動を調整し、他のエージェントの振る舞いに適応することを可能にし、従来の分散型RLに固有の不安定さを克服します。
集中学習と分散実行
MADDPGは、Deep Deterministic Policy Gradient (DDPG) アルゴリズムを拡張し、actor-critic強化学習技術を組み込んでいます。核心となる革新は、各エージェントに対する集中型criticの導入です。
- The Actor: シミュレーション内の各エージェントはactorとして機能し、自身の観察と他のエージェントの振る舞いの予測に基づいて、どの行動をとるかを決定します。
- The Centralized Critic: 学習中、各actorは、環境内のすべてのエージェントの観察と行動にアクセスできるcriticとペアになります。このcriticは、特定の状態における行動の期待される将来の報酬（価値）を予測することで、actorに対してどの行動を強化すべきかについてのアドバイスを提供します。
- Decentralized Execution: エージェントは、テスト時において集中型criticにアクセスする必要はありません。彼らは自身の観察と他のエージェントの振る舞いの予測のみに基づいて動作します。
このアーキテクチャにより、MADDPGは、報酬が相反する敵対的なケースを含む任意の報酬構造をモデル化することができ、予測不可能なマルチエージェント環境を、学習プロセスにおける予測可能なものへと変形させます。
従来のRLの限界を克服する
DDPG、actor-critic学習、およびdeep Q-learningなどの従来の分散型RLアプローチは、マルチエージェント設定において苦戦します。なぜなら、エージェントは自身の行動を実行しながら、同時に他者の行動を予測することを学習しなければならないからです。これにより、他のエージェントが学習するにつれて一つのエージェントのポリシー（方策）は変化するという、非定常な環境が作成され、エージェントが安定したポリシーに収束することが困難になります。
さらに、policy gradient法はしばしば高い分散（variance）を示し、報酬が不一致な場合に正しいポリシーを学習することが困難になります。OpenAIは、分散型RLに単にcriticを付け加えるだけでは、協力的コミュニケーションのようなタスクの解決には失敗することを発見しました。なぜなら、エージェントが協力的戦略を開発するためには、学習中に他者の行動を考慮する必要があるからです。
実証結果と能力
OpenAIは、さまざまなタスクにおいてMADDPGをテストし、すべてのケースにおいてDDPGを上回りました。実証された能力には以下が含まれます：
- Coordinated Chasing: 4つの赤いエージェントが、2つの緑のエージェントを追跡するためにチームを組むことを学習し、一方で緑のエージェントは、捕獲を回避しターゲット（青い円）に到達するために分散することを学習しました。
- Strategic Hiding: 2つのエージェントが、敵対するエージェントから意図した目的地を隠すために、分散することを学習しました。
- Cooperative Communication: 1つのエージェントが、ランドマークの名前を別のエージェントに伝えるコミュニケーションを学習しました。
- Collision Avoidance: 3つのエージェントが、衝突を回避しながらランドマークへ移動するために、動きを調整することを見学しました。
AGIへの示唆
OpenAIは、マルチエージェント環境を、人工汎用知能（AGI）への重要なステップとして捉えています。その主な理由は2つあります：
- Natural Curriculum: 環境の難易度は、競合者のスキルレベルによって自動的にスケールアップされます。もしエージェントが自分自身のクローンと競合する場合、環境の難易度は彼らの現在のスキルレベルと正確に一致します。
- Lack of Stable Equilibrium: 競合者より優れた性能を発出揮するためには常に賢くなる必要があるという圧力があるため、これらの環境においてエージェントの知能には天井がありません。
ディープラーニングの複雑な複雑な視覚的入力を処理する能力と、RLの長期的な行動を学習する能力を組み合わせることで、MADDPGは、環境のダイナミクスに関する事前知識を必要とせずに、高次元環境におけるコミュニケーションと言語の学習を研究することを可能にします。