ai4co/rl4co

它解决了什么问题

RL4CO 提供了一个统一的基准和框架，用于将强化学习（RL）应用于组合优化（CO）问题。它旨在将基于 RL 的 CO 算法的科学研究与其实现的工程负担分离，促进可重现的研究。

它的运作方式

该框架构建在 PyTorch、TorchRL、TensorDict、PyTorch Lightning 和 Hydra 之上，提供了解决优化问题的模块化组件。它支持三种主要类型的策略：

• 构造式策略：这些策略从头开始构建解决方案。这包括自回归（AR）策略（逐步构建解决方案）和非自回归（NAR）策略（预测启发式（如热图）来引导构建）。
• 改进策略：这些策略专注于改进和优化现有的解决方案。

适用对象

从事 AI 驱动的组合优化研究的研究人员和开发人员，特别是那些使用强化学习来解决复杂的路由或调度问题的人。

重点特色

• 统一框架：整合多个 RL 库，为 CO 基准提供标准化环境。
• 模块化设计：具有可重复使用的组件，例如环境嵌入，可以轻松替换以解决新问题。
• 灵活的策略：支持构造式（AR 和 NAR）和基于改进的 RL 策略。
• 高性能：通过 TorchRL 利用 GPU 向量化环境，并通过 PyTorch Lightning 提供高性能训练包装器。