proroklab/VectorizedMultiAgentSimulator

解決的問題

VMAS 解決了多智能體強化學習（MARL）基準測試中的計算瓶頸問題。傳統的物理引擎在模擬數千個並行環境且包含多個相互作用的智能體時，往往過於沉重，難以高效擴展，從而減慢了訓練軌跡的收集速度。

工作原理

VMAS 是一個完全基於 PyTorch 构建的向量化、完全可微的 2D 物理引擎。它使用張量操作來模擬智能體和地標，能夠在加速硬體（如 GPU）上運行數萬個並行環境。預設採用全向運動模型，專注於高階多機器人問題求解而非底層控制，但同時也支援自訂動力學，如差速驅動、運動學自行車模型和無人機模型。

適用對象

專為 MARL 和機器人領域的研究人員與開發者設計，適用於需要快速、可擴展環境來訓練和基準測試集體機器人學習演算法的使用者。

主要亮點

• 高可擴展性：向量化支援在 GPU 上對環境進行大規模並行處理。
• 可微分：支援從輸出到輸入的梯度傳播，實現基於梯度的優化。
• 廣泛相容性：提供 Gymnasium、RLlib、TorchRL 和 OpenAI Gym 的開箱即用包裝器。
• 豐富的物理特性：支援彈性碰撞、可自訂重力、關節以及多種實體形狀（球體、盒子、線段）。
• 整合式感測器：內建射線投射功能，支援基於距離的感測器（如 LIDAR）。
• 模組化場景建立：提供框架，可輕鬆定義自訂多智能體任務與場景。