kengz/SLM-Lab

解決的問題

SLM Lab 為深度強化學習 (DRL) 的研究與應用提供了一個模組化的框架。它提供了一種標準化的方式來設定、執行和分析各種環境中的 RL 智能體，從而消除了為每個實驗編寫重複樣板程式碼的需求。

運作方式

該框架基於 PyTorch 構建，並整合了 Gymnasium（OpenAI Gym 的維護分支）。使用者使用 JSON 規格檔案來定義他們的實驗，這使得他們無需更改底層程式碼即可替換演算法、超參數和環境。它支援透過 dstack 進行本地訓練和遠端雲端 GPU 訓練，並將結果自動同步到 HuggingFace。

適用對象

它專為 RL 研究人員、學生（特別是閱讀配套書籍《Foundations of Deep Reinforcement Learning》的讀者）以及希望在標準基準上實作和驗證 RL 演算法的開發者而設計。

亮點

• 廣泛的演算法支援：包含 PPO、SAC、DQN、A2C、REINFORCE 和 CrossQ 的經過驗證的實作。
• 設定驅動：實驗完全透過 JSON 規格定義，以實現高度可重現性。
• 環境靈活性：相容於任何 Gymnasium 環境，包括 Classic Control、Box2D、MuJoCo 和 Atari。
• 雲端整合：內建支援 dstack 進行 GPU 訓練，以及 HuggingFace 用於結果分享。
• 自動分析：整合 TensorBoard 日誌記錄和訓練曲線生成。