agi-brain/xuance

解决的问题

深度强化学习（DRL）算法由于对超参数敏感且训练过程不稳定，常常难以实现和调优。XuanCe 提供了一个统一、高质量且模块化的 DRL 算法实现库，使这些「魔法般」的策略更易于学习、使用和复现。

工作原理

XuanCe 作为一个与多种深度学习后端兼容的全面 DRL 算法集合，支持 PyTorch、TensorFlow 和 MindSpore。它支持多种任务，包括单智能体 DRL、多智能体强化学习（MARL）、基于模型的 RL（MBRL）以及对比强化学习（CRL）。该库设计具有高度模块化，允许用户灵活组合模型，并在并行环境或分布式多 GPU 设置中运行训练。

适用人群

需要在不同深度学习框架上获得可靠、标准化的 DRL/MARL 算法实现的研究人员和开发者。

主要亮点

• 多后端支持：兼容 PyTorch、TensorFlow2 和 MindSpore。
• 丰富的算法库：包含 DQN、PPO、SAC、QMIX、MAPPO、DreamerV3 等大量实现。
• 广泛的环境兼容性：支持 Classic Control、Box2D、MuJoCo、Atari、Minigrid、Drones、MetaDrive、MPE、Robotic Warehouse、SMAC 和 Google Research Football。
• 高级训练功能：支持自动超参数调优、多 GPU 分布式训练，以及通过 TensorBoard 或 WandB 进行可视化。
• 跨平台：可在 Linux、Windows、macOS 和 EulerOS 上运行。