OpenAI Five: Dota 2 Reinforcement Learning

TL;DR

OpenAI Five 是一個強化學習系統，它在 2019 年 4 月 13 日擊敗了 Dota 2 世界冠軍 (Team OG)。這項成就證明了自我對弈強化學習可以擴展到解決具有長時程、不完全資訊以及複雜且連續的狀態-動作空間的任務。

Dota 2 的技術挑戰

與西洋棋或圍棋等較簡單的遊戲不同，Dota 2 為 AI 系統帶來了幾項根本性的挑戰。OpenAI Five 的設計旨在解決這些特定的複雜性：

• 長時程 (Long Time Horizons): 遊戲早期採取的行動可能會在幾分鐘後產生後果，這需要系統具備處理長期規劃的能力。
• 不完全資訊 (Imperfect Information): 與完全資訊遊戲不同，Dota 2 要求 AI 在「戰爭迷霧」下運作，僅能看到部分遊戲狀態。
• 複雜的狀態-動作空間 (Complex State-Action Spaces): 遊戲具有連續的狀態-動作空間，這意味著 AI 必須在複雜的環境中導航，其中精確的移動和目標選擇是成功的關鍵策略。

擴展強化學習

OpenAI Five 利用了現有的強化學習技術，但將其擴展到了前所未有的水平。該系統的訓練過程包括：

• 分散式訓練 (Distributed Training): OpenAI 開發了一套分散式訓練系統和專門的持續訓練工具，以在長時間內維持穩定性。
• 海量數據吞吐量 (Massive Data Throughput): 該系統每 2 秒鐘就會在約 200 萬幀的批次上進行訓練。
• 延長的訓練時長 (Extended Training Duration): 系統總共訓練了 10 個月才達到超人類的性能水平。

對通用人工智慧的啟示

透過擊敗世界冠軍 Team OG，OpenAI Five 為自我對弈強化學習範式提供了一個概念驗證。它顯示了 AI 可以透過迭代的自我對弈，發現對抗同等級對手時有效的策略，並在困難的現實世界任務中達到超人類的性能。這些挑戰——長時程、不完全資訊以及連續空間——更有可能代表未來通用人工智慧系統的特徵。