Kaixhin/imitation-learning

解决的问题

本项目提供了一个统一的框架，用于实现和基准测试各种深度模仿学习（IL）算法。它解决了通过模仿专家示范来训练智能体执行任务的挑战，使研究人员能够在标准机器人环境中比较不同的IL方法。

工作原理

该库使用软演员-评论家（SAC）作为基础强化学习算法，并实现了多种模仿学习技术，包括：

• AdRIL, DRIL, GAIL, GMMIL, PWIL, 和 RED。
• 行为克隆（BC） 用于预训练。

支持多种配置，例如仅状态模仿、吸收状态指示符，以及混合智能体和专家数据。在使用 D4RL 专家数据的 Gym MuJoCo 环境中进行了基准测试。

适用人群

主要面向需要可靠、标准化方式测试和评估不同模仿学习算法的强化学习和机器人领域的研究人员和开发者。

特色亮点

• 全面的算法套件：包含 GAIL 和 RED 等广泛的 IL 算法。
• 灵活的配置：提供丰富的超参数，用于判别器、奖励塑造（AIRL）和损失函数（BCE、Mixup、PUGAIL）。
• 集成基准测试：原生支持 Gym MuJoCo 和 D4RL 数据集。
• 超参数优化：通过 Ax 和 Hydra 支持贝叶斯优化，以找到不同轨迹数量下的最优设置。
• 并行执行：支持在多个环境中同时运行训练。