fan-ziqi/rl_sar

解決的問題

rl_sar 提供一個統一的框架，用於各種機器人的強化學習（RL）策略之模擬驗證與實體部署。透過支援廣泛的機器人硬體、模擬器與推論引擎，彌補模擬與現實之間的差距（"sim-to-real"），讓開發者能在將基於強化學習的移動與舞蹈技能部署至實體硬體之前，先於模擬環境中進行測試。

工作原理

此框架作為部署層，讀取預訓練的強化學習策略（.pt 或 .onnx 格式）並在機器人上執行。支援多種模擬環境（Gazebo 與 MuJoCo）與多種通訊協定（ROS Noetic、ROS2 Foxy/Humble，以及用於硬體部署的獨立 CMake 建構）。

主要技術元件包括：

• 推論引擎：使用 libtorch 與 onnxruntime 執行神經網路。
• 機器人支援：提供對多種四足、輪式與人形機器人的預設設定支援（例如 Unitree A1、Go2、G1、Agibot D1）。
• 致動器網路訓練：包含工具用於記錄真實世界馬達資料，並訓練致動器網路以更精確地模擬實體機器人的行為。
• 控制介面：支援遊戲手把、鍵盤與實驗性行動網頁控制。

適用對象

從事強化學習的機器人研究人員與工程師，需要一種標準化方式將訓練完成的策略部署至實體機器人，或在不同硬體平台於模擬環境中進行驗證。

主要亮點

• 廣泛的硬體相容性：支援四足、輪式機器人與人形機器人。
• 多模擬器支援：相容 IsaacGym、IsaacSim、Gazebo 與 MuJoCo。
• 彈性部署：支援基於 ROS 與非 ROS（CMake）的建構，可直接於硬體執行。
• 跨平台：可在 Linux 與 macOS（僅 MuJoCo）上運作。
• 模擬到現實的工具鏈：包含專用流程，使用真實世界資料訓練致動器網路。