bold-lab-ai/JaxMARL

解決的問題

JaxMARL 為多智能體強化學習 (MARL) 提供了一個統一的、支援 GPU 的框架。它解決了需要單一庫來結合各種 MARL 環境和流行基準演算法的需求，使研究人員能夠高效地在不同任務中評估方法。

工作原理

該庫構建在 JAX 之上，利用 GPU 加速提供高性能的向量化環境。它遵循受 PettingZoo 和 Gymnax 啟發的 API，其中智能體的動作、觀測和獎勵以字典形式處理。該庫還包括 SMAX，它是 StarCraft Multi-Agent Challenge 的簡化向量化版本，消除了對 StarCraft II 遊戲引擎的依賴。

適用對象

專為從事多智能體強化學習的研究人員和開發人員設計，他們需要高吞吐量的訓練以及與既定基準進行比較的標準化方式。

亮點

• 多樣化的環境套件：包括 MPE、Overcooked、Hanabi 以及透過 Multi-Agent Brax 進行的機器人控制等廣泛任務。
• GPU 加速效率：完全使用 JAX 實現，可在 GPU 和 TPU 上高速運行。
• 基準演算法：提供流行演算法的單文件實現，如 IPPO、MAPPO、QMIX 和 VDN。
• SMAX 環境：一種全新的、無需引擎的 StarCraft 微操挑戰版本。
• Sim2Real 支援：與 JaxRobotarium 集成，用於具有開放存取 Sim2Real 能力的多機器人環境。