fan-ziqi/rl_sar

解决的问题

rl_sar 为各种机器人上的强化学习（RL）策略提供统一的仿真验证与物理部署框架。通过支持广泛的机器人硬件、仿真器和推理引擎，弥合了仿真与现实之间的差距（"sim-to-real"），使开发者能够在将基于强化学习的行走和舞蹈技能部署到物理硬件之前，先在仿真环境中进行测试。

工作原理

该框架作为部署层，接收预训练的强化学习策略（.pt 或 .onnx 格式），并在机器人上执行。它支持多种仿真环境（Gazebo 和 MuJoCo）和多种通信协议（ROS Noetic、ROS2 Foxy/Humble，以及用于硬件部署的独立 CMake 构建）。

关键技术组件包括：

• 推理引擎：使用 libtorch 和 onnxruntime 运行神经网络。
• 机器人支持：提供对多种四足、轮式和人形机器人的预配置支持（例如 Unitree A1、Go2、G1、Agibot D1）。
• 执行器网络训练：包含工具用于记录真实世界电机数据，并训练执行器网络以更准确地建模物理机器人的行为。
• 控制接口：支持游戏手柄、键盘以及实验性的移动网页控制。

适用人群

从事强化学习的机器人研究人员和工程师，需要一种标准化的方法将训练好的策略部署到物理机器人上，或在不同硬件平台上通过仿真进行验证。

主要亮点

• 广泛的硬件兼容性：支持四足、轮式机器人和人形机器人。
• 多仿真器支持：兼容 IsaacGym、IsaacSim、Gazebo 和 MuJoCo。
• 灵活的部署方式：支持基于 ROS 和非 ROS（CMake）的构建，可直接在硬件上执行。
• 跨平台支持：可在 Linux 和 macOS（仅 MuJoCo）上运行。
• 仿真到现实的工具链：包含专用管道，使用真实世界数据训练执行器网络。