proroklab/VectorizedMultiAgentSimulator

何を解決するか

VMASは、マルチエージェント強化学習（MARL）のベンチマークにおける計算上のボトルネックに対処します。従来の物理エンジンは、複数の相互作用するエージェントを含む数千もの並列環境をシミュレートする際に、スケーラビリティが低く、学習用ロールアウトの収集を遅くしてしまうことがよくあります。

どう動くか

VMASは、PyTorchで完全に構築された、ベクトル化され、完全に微分可能な2D物理エンジンです。エージェントとランドマークのシミュレーションにテンソル演算を使用しており、GPUなどの加速ハードウェア上で数万もの並列環境を実行できます。デフォルトではホロノミック運動モデルを使用し、低レベルの制御ではなく、高レベルのマルチロボット問題解決に焦点を当てていますが、差動駆動、運動学的自転車モデル、ドローンモデルなど、カスタムダイナミクスもサポートしています。

誰向けか

MARLおよびロボティクスの研究者や開発者向けに設計されており、集団ロボット学習アルゴリズムの訓練およびベンチマークに高速でスケーラブルな環境が必要な人向けです。

特徴

• 高いスケーラビリティ：ベクトル化により、GPU上で環境全体にわたって大規模な並列処理が可能。
• 微分可能：出力から入力への勾配伝播をサポートし、勾配ベースの最適化が可能。
• 広範な互換性：Gymnasium、RLlib、TorchRL、OpenAI Gym 用の即時利用可能なラッパーを提供。
• 豊富な物理機能：弾性衝突、カスタム重力、ジョイント、さまざまなエンティティ形状（球体、直方体、線）をサポート。
• 統合されたセンサー：距離ベースのセンサー（例：LIDAR）用のレイトレーシングを内蔵。
• モジュール式シナリオ作成：カスタムマルチエージェントタスクやシナリオを簡単に定義するためのフレームワークを提供。