google/brax

解決的問題

Brax 是為了加速機器人學、人類感知與強化學習的研究與開發而設計，提供一個快速、完全可微分且可擴展的物理引擎。它無需依賴大型資料中心，即可在單一裝置或跨多個裝置上，利用加速硬體（如 TPU 和 GPU）進行大規模平行模擬。

工作原理

Brax 使用 JAX 寫成，利用加速硬體以每秒數百萬個物理步驟的速度模擬環境。它提供四種可交換的物理流程（MJX、Generalized、Positional 和 Spring），共享單一 API，讓研究人員能在遷移學習實驗中輕鬆切換不同的模擬方法。

適用對象

需要高效率、可微分物理模擬來訓練代理的機器人學、材料科學與強化學習領域的研究人員與開發者。

主要亮點

• 可微分物理：支援利用模擬器可微分性的學習演算法，例如解析策略梯度。
• 大規模平行：可在 TPU 上擴展至每秒數百萬個物理步驟。
• 整合訓練：內建 PPO、SAC、ARS 和演化策略等基線學習演算法。
• 彈性流程：提供四種不同的物理流程（包含 MuJoCo 的 JAX 重實現），可並行執行。
• 框架無關：可與其他 ML 框架（包括 PyTorch）一起使用。