OpenAI Baselines: DQN 發布與強化學習最佳實踐

OpenAI 已開源 OpenAI Baselines，這是一組旨在提供可重現、高效能且與發表結果相符的強化學習（RL）演算法集合。首次發布專注於 Deep Q-Learning（DQN）以及由 DeepMind 開發的三種特定變體，以確保 RL 研究進展是以可靠且經過調整的實作為基準進行衡量，而非現有演算法中含有錯誤或次佳的版本。

解決強化學習中的可重現性問題

強化學習研究因著雜訊效能指標、包含許多移動部件的複雜演算法，以及論文中經常遺漏關鍵實作細節而臭名昭著地難以重現。OpenAI 透過提供「已知良好」的實作並建立社區的最佳實踐來緩解這些問題。

RL 實作的關鍵最佳實踐

為確保正確實作以及有效的科學比較，OpenAI 建議以下實踐：

• 針對隨機基線進行驗證： 始終將智慧體的效能與隨機智慧體進行比較，以確保智慧體確實在學習，而不僅僅表現出隨機行為。
• 當心非破壞性錯誤： 例如忽略特定範例的梯度、錯誤的因果卷積，或報告虛高分數等微小錯誤，可能會使研究結果失效。
• 視覺化智慧體觀測： 使用如 Gym play 函數之類的工具，以確切查看智慧體所見的內容。OpenAI 指出，錯誤的灰階轉換係數曾導致智慧體在訓練期間「看不見」物體（例如 Seaquest 中的魚）。
• 在調整超參數之前先進行除錯： 超參數校準（例如 epsilon 退火排程）僅應在實作被確認無錯誤之後進行，因為錯誤的程式碼可能導致超參數優化不正確。
• 驗證數學解釋： 確保實作細節（例如誤差項裁剪）符合預期的數學邏輯（例如使用 Huber Loss 而非裁剪目標），以避免次佳效能。

Deep Q-Learning 與變體

OpenAI Baselines 的首次發布包含標準 DQN 演算法以及三種進階變體：

• DQN (Deep Q-Learning): 結合 Q-Learning 與深度神經網路，使強化學習能夠應用於複雜且高維度的環境，例如機器人或電子遊戲。
• Double Q Learning: 一種變體，旨在修正標準 DQN 演算法傾向於高估特定動作值的問題。
• Prioritized Replay: 對經驗回放函數的擴展，優先重播實際獎勵與預期獎勵顯著不同的記憶。
• Dueling DQN: 一種網路架構，將網路分為兩個流——一個估計狀態值，另一個計算特定動作的優勢——以產生單一的動作-優勢 Q 函數。

基準測試與實作

OpenAI 為這些演算法在 Atari 遊戲上提供效能基準測試。這些實作包含各種變體的組合，例如「Dueling Double Q learning with Prioritized Replay」，這代表了一種高度優化的配置。

研究人員可以透過 baselines Python 套件存取程式碼。該儲存庫包含用於如 Cartpole 環境的訓練腳本，以及 Atari 遊戲（例如 Breakout）的預訓練模型，以便進行即時測試與比較。