OpenAI Gym Retro 發佈

OpenAI 已發布 Gym Retro 的完整版本，這是一個專為視頻遊戲強化學習（RL）研究而設計的平台。透過將可用遊戲數量從約 100 款擴增至超過 1,000 款，OpenAI 旨在將 RL 研究從僅優化單一任務的代理，轉向研究代理如何在概念相似但視覺外觀不同的不同遊戲間進行泛化。

擴充的遊戲庫與主機支援

Gym Retro 的完整發布大幅提升了資料集的規模，支援超過 1,000 款遊戲，涵蓋多個底層模擬器。平台包含以下主機的遊戲：

• Sega Genesis
• Sega Master System
• Nintendo NES
• Nintendo SNES
• Nintendo Game Boy

也已初步加入對 Sega Game Gear、Nintendo Game Boy Color、Nintendo Game Boy Advance 以及 NEC TurboGrafx 的支援。

遊戲整合工具

除了平台之外，OpenAI 也發布了一個整合工具，讓研究人員能將新遊戲加入 Gym Retro。只要使用者擁有遊戲 ROM，該工具即可提供以下功能：

• 記憶體位置發現: 找尋特定的記憶體位置以追蹤遊戲狀態。
• 存檔狀態建立: 為代理輕鬆建立存檔狀態。
• 情境設計: 設計特定情境供 RL 代理解決。
• 輸入錄製: 錄製並回放儲存按鍵輸入的影片檔案。這些檔案因僅儲存起始狀態與按鍵序列，而非完整影格，故體積小巧，可用於視覺化代理行為或保存人類訓練資料。

強化學習泛化的挑戰

OpenAI 確認在 RL 研究中有兩個主要的泛化難度層級：

1. 遊戲內部泛化: 在同一遊戲的不同關卡之間進行泛化（例如 Sonic The Hedgehog）。
2. 跨遊戲泛化: 在完全不同的遊戲之間進行泛化，這是由 Gym Retro 資料集的規模所帶來的更難問題。

獎勵耕作與錯誤的獎勵函數

OpenAI 觀察到代理常會進行「獎勵耕作」——即代理找到一個循環以快速累積分數（定義的獎勵），卻未完成遊戲的實際任務。舉例包括 Cheese Cat-Astrophe 與 Blades of Vengeance，其中角色被困在無限循環中以最大化得分。

演算法效能與獎勵密度

目前的 RL 演算法（如 PPO）的效能會依遊戲獎勵結構的性質而異：

• 密集獎勵: 在像 Gradius 這樣的遊戲中，因頻繁射擊敵人而獲得分數，RL 演算法表現良好，因為它們持續收到回饋，能逐影格反應。
• 稀疏獎勵: 在需要長期規劃或獎勵稀少的遊戲中，現有演算法會掙扎。OpenAI 指出，Gym Retro 資料集中的許多遊戲屬於稀疏獎勵，暗示需要新技術才能解決。