Farama-Foundation/MOMAland

它解決的問題

MOMAland 提供了一種標準化的方法來開發和比較多目標多代理強化學習（MOMARL）算法。它解決了在多個代理必須同時優化多個經常相互競爭的目標的環境中，缺乏通用 API 和一致基準的問題。

它如何運作

它擴展了 PettingZoo API 標準，提供了一組環境，其中獎勵以向量化 numpy 陣列的形式返回，而不是單一的標量值。這使得學習算法能夠處理多個目標。該庫還包含一個 LinearizeReward 包裝器，如果用戶希望轉換到單目標多代理 RL，可以使用權重將這些向量獎勵轉換回標量。

適用對象

從事多目標強化學習和多代理系統的研究人員和開發者，他們需要一個一致的框架來進行基準測試和算法開發。

特色

• 標準化 API：基於 PettingZoo 標準，實現算法與環境之間的無縫通信。
• 向量化獎勵：支援每代理返回多個獎勵目標的環境。
• 內建基準：包含來自 MOMARL 文獻的環境以及經典環境（如 SISL 或 Butterfly）的多目標版本。
• 整合算法：提供一組自包含的學習算法（例如 MOMAPPO），以單一檔案風格實現，以確保清晰性。

"MOMAland 提供了一個統一的框架，讓研究者可以更輕鬆地比較和開發多目標多代理學習算法。" — @moma-land