OpenAI 透過 Q-Ensembles 進行 UCB 探索

OpenAI 透過利用 Q*-函數的集合，提出了一種在深度強化學習中更有效探索的方法。通過將多臂老虎機環境中的 Upper-Confidence Bounds (UCB) 演算法適應到 Q-learning 框架，研究人員在 Atari 基準測試上取得了顯著的性能提升。

技術方法：Q-Ensembles 與 UCB

此研究的核心在於將多臂老虎機問題中已確立的探索策略適應到深度強化學習較為複雜的環境。

利用 Q-函數集合

研究人員並未依賴單一的 Q-函數來估計動作的價值，而是使用了 Q*-函數的集合。這種集合方法使模型能夠保持對最佳動作價值函數的多個估計，提供了一種量化代理人對環境當前知識不確定性的機制。

實施 Upper-Confidence Bounds (UCB)

探索策略基於 Upper-Confidence Bounds (UCB)。在多臂老虎機環境中，UCB 會根據動作的估計值與不確定性的結合來選擇具有高潛在回報的動作。OpenAI 團隊將此邏輯適應到 Q-learning 環境，利用 Q-函數的集合來推導這些界限。這使得代理人能夠優先探索價值高或不確定性高的動作，減少傳統深度強化學習代理人中常見的低效隨機探索。

實驗結果與基準測試

所提出的 UCB 探索策略的有效性透過在 Atari 基準測試上的廣泛測試得到驗證。

在 Atari 上的性能提升

實驗表明，使用 Q-ensembles 進行 UCB 探索在 Atari 遊戲中帶來了顯著的性能提升。這表明，基於集合的探索方法比標準探索方法更高效，使代理人能夠更快速地發現最佳策略，並在獎勵稀疏或結構複雜的環境中表現出色。