cleanrl：一套高品質、單檔案的深度強化學習實作，適用於研究與原型開發

它解決了什麼問題

CleanRL 針對模組化深度強化學習（DRL）函式庫的複雜性與不透明性提供解決方案。許多 RL 函式庫使用大量抽象與子類別化，使研究者難以了解演算法的具體實作細節，或在不必在深層檔案階層中穿梭的情況下，快速原型化新功能。

它的運作方式

CleanRL 並未採用模組化架構，而是提供高品質、單檔案的 DRL 演算法實作。每個特定演算法變體的所有細節都收錄在一個獨立的 Python 檔案中。此方式將可讀性與透明度置於程式碼重用之上，讓使用者能直接看到演算法的完整實作，而不必在多個模組之間切換。

目標對象

此專案設計給想要深入了解 RL 演算法內部運作，或需要原型化標準模組化函式庫未支援的進階功能的研究者與開發者。

重點特色

• 單檔案實作：每個演算法變體皆集中於一個檔案，便於閱讀與除錯。
• 基準結果：提供 7+ 演算法在 34+ 遊戲上的實作與基準。
• 實驗追蹤：整合 Tensorboard 與 Weights and Biases 進行日誌記錄與管理。
• 雲端就緒：支援 Docker 與 AWS Batch，能將實驗規模擴展至數千次執行。
• 廣泛演算法支援：實作 PPO、DQN、C51、SAC、DDPG、TD3、PPG 與 RND。