alex-petrenko/sample-factory

它解决了什么问题

Sample Factory 是一个高吞吐量的强化学习 (RL) 库，旨在最小化训练时间和硬件需求，同时达到最先进的性能。它通过提供高度优化的策略梯度实现（特别是近端策略优化，PPO）来解决 RL 训练缓慢的挑战。

运作方式

该库使用高度优化的架构以实现最大的学习吞吐量，并支持同步与异步训练机制。它可以在序列模式下进行调试，并在基于 CPU 和 GPU 加速的环境中发挥最佳性能。系统会根据动作和观察空间规范自动创建模型架构，同时也支持自定义模型架构和自定义环境。

目标对象

需要高效、可扩展 RL 框架以在多样化环境中训练代理的研究人员和从业者，包括基于像素（如 VizDoom）和基于物理（如 Mujoco 或 IsaacGym）的环境。

特色亮点

• 高吞吐量： 针对最大学习速度和最小硬件开销进行了优化。
• 灵活训练： 支持同步、异步和序列训练模式。
• 广泛兼容性： 适用于离散、连续和混合动作空间，以及基于向量、图像和字典的观察空间。
• 进阶 RL 功能： 包含对单代理和多代理训练、自我对弈、基于群体的训练 (PBT) 以及多策略训练的支持。
• 整合性： 与 HuggingFace 整合以进行模型共享，并通过 WandB 和 Tensorboard 提供详细监控。