OpenAI Five

OpenAI Fiveは、5つのニューラルネットワークからなるチームで、Dota 2におけるアマチュア人間チームに勝利し始めている。

モデル構造

OpenAI Fiveの各ヒーローは、20,000次元の観測を処理し、8つの列挙値ヘッドを通じて行動を出力する別々の1層1024ユニットLSTMによって制御される。

トレーニングアプローチ

OpenAI Fiveは、256台のGPUと128,000コアのCPUで動作するスケールアップされたProximal Policy Optimizationアルゴリズムを使用したセルフプレイから完全に学習し、1日あたり約180年のゲームプレイ経験を収集する。

探索

エージェントは、現在の自分と80%のゲームを対戦し、過去の自分と20%のゲームを対戦することで探索を行い、レーンの割り当てとユニットのプロパティをランダム化し、ネットワース、キル、デス、アシスト、ラストヒットなどの報酬を得て、対戦チームの平均報酬を引く。

協調

チームワークは、トレーニング中に0から1へとアニーリングされる「チームスピリット」ハイパラメータから生じ、明示的な通信チャネルなしで各ヒーローの個別報酬とチームの平均報酬を重み付けする。

システムインフラストラクチャ

トレーニングは、経験を収集するロールアウトワーカーと同期勾配降下を行うオプティマイザーノードを分離するRapidフレームワークによって行われ、経験はRedis経由で同期され、勾配はNCCL2ラッパーを使用して平均化される。RapidはKubernetes、Azure、GCPバックエンド上で実行される。

ゲームプレイ結果

OpenAI Fiveは、MMR 4.2k（93パーセンタイル）のアマチュアチームに勝利し、段階的な改善後、OpenAI社員のベストチーム（MMR 2.5k、46パーセンタイル）、Valve社員チーム（MMR 2.5‑4k、46‑90パーセンタイル）を破り、さらにセミプロチーム（MMR 5.5k、99パーセンタイル）および一緒にトレーニングするアマチュアチームとの非公式スクラム3試合のうち2試合に勝利した。

人間との違い

OpenAI Fiveはゲーム状態を瞬時に完全に取得し、1分間に平均150‑170アクション（理論上の最大450）を行い、約80msで反応し、これは人間の反応時間よりも速い。

驚きの発見

バイナリの勝敗報酬のみでは学習が1桁遅くなり、明示的な報酬なしでクリープブロックが現れ、さらにレベル25でのまれなクラッシュや大きなネガティブ報酬などの深刻なバグを含みながらも、システムは強い人間に勝利することができた。

今後の計画

チームは、2018年8月のThe Internationalにおいて、制限されたヒーローセットでトッププロフェッショナルラインナップと対戦することを目指し、途中でアップデートをリリースし、プロジェクト完了後に最終報告書を公開する予定である。