agi-brain/xuance

解決的問題

深度強化學習（DRL）演算法由於對超參數敏感且訓練過程不穩定，常常難以實現與調校。XuanCe 提供一個統一、高品質且模組化的 DRL 演算法實作庫，使這些「魔法般」的策略更易於學習、使用與重現。

工作原理

XuanCe 作為一個與多種深度學習後端相容的完整 DRL 演算法集合，支援 PyTorch、TensorFlow 與 MindSpore。它支援多種任務，包括單智能體 DRL、多智能體強化學習（MARL）、基於模型的 RL（MBRL）以及對比強化學習（CRL）。此庫設計具有高度模組化，允許使用者靈活組合模型，並在平行環境或分散式多 GPU 環境中執行訓練。

適用對象

需要在不同深度學習框架上取得可靠、標準化 DRL/MARL 演算法實作的研究人員與開發者。

主要亮點

• 多後端支援：相容 PyTorch、TensorFlow2 與 MindSpore。
• 豐富的演算法圖書館：包含 DQN、PPO、SAC、QMIX、MAPPO、DreamerV3 等大量實作。
• 廣泛的環境相容性：支援 Classic Control、Box2D、MuJoCo、Atari、Minigrid、Drones、MetaDrive、MPE、Robotic Warehouse、SMAC 與 Google Research Football。
• 進階訓練功能：支援自動超參數調校、多 GPU 分散式訓練，以及透過 TensorBoard 或 WandB 進行可視化。
• 跨平台：可在 Linux、Windows、macOS 與 EulerOS 上執行。