Farama-Foundation/MOMAland

它解决了什么问题

MOMAland 提供了一种标准化的方法来开发和比较多目标多智能体强化学习（MOMARL）算法。它解决了在多个智能体必须同时优化多个经常相互冲突的目标的环境中，缺乏通用 API 和一致基准的问题。

它如何工作

它扩展了 PettingZoo API 标准，提供了一组环境，其中奖励以向量化 numpy 数组的形式返回，而不是单个标量值。这使得学习算法能够处理多个目标。该库还包含一个 LinearizeReward 包装器，如果用户希望转向单目标多智能体 RL，可以使用权重将这些向量奖励转换回标量。

适用对象

从事多目标强化学习和多智能体系统的研究人员和开发者，他们需要一个一致的框架来进行基准测试和算法开发。

特色亮点

• 标准化 API：基于 PettingZoo 标准，实现算法与环境之间的无缝通信。
• 向量化奖励：支持每个智能体返回多个奖励目标的环境。
• 内置基准测试：包含来自 MOMARL 文献的环境以及经典环境（如 SISL 或 Butterfly）的多目标版本。
• 集成算法：提供一组自包含的学习算法（例如 MOMAPPO），以单文件风格实现，便于理解。