leggedrobotics/robotic_world_model

Repository for our papers: Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics and Uncertainty-Aware Robotic World Model Makes Offline Model-Based Reinforcement Learning Work on Real Robots

解决的问题

本项目为机器人领域的基于模型的强化学习提供了一个框架,使机器人能够从“想象”中学习,而不必仅仅依赖物理或模拟环境的交互。它通过使机器人学习预测未来状态的动力学模型,解决了对稳健策略优化的需求,这些模型随后可用于在线(通过模拟器反馈)或离线(使用静态模型)训练策略。

工作原理

该框架扩展了 Isaac Lab 以支持两种主要方法:机器人世界模型 (RWM) 和不确定性感知机器人世界模型 (RWM-U)。用户训练一个神经网络作为动力学模型——即一个预测机器人如何响应动作的模拟器。一旦训练完成,该模型允许机器人执行“想象回放”,即在学习到的动力学模型中练习任务。该系统支持在线训练(模型和策略与模拟器数据同步更新)和离线训练(策略完全在静态的学习模型中进行优化)。

适用人群

该工具专为从事基于模型的强化学习的机器人研究人员和开发人员设计,他们希望为像 ANYmal D 这样的复杂机器人优化策略。对于那些希望通过利用不确定性感知动力学模型来弥合基于模拟的训练与现实世界部署之间差距的人来说,它特别有用。

亮点

  • 支持策略和神经动力学模型的联合训练。
  • 支持使用静态动力学模型进行离线策略训练,无需模拟器。
  • 提供可视化工具,用于展示从学习到的动力学中进行的自回归想象回放。
  • 包含针对 ANYmal D 机器人的特定配置。
  • 提供不确定性估计,以提高离线基于模型的强化学习的可靠性。

相关

  • 项目
  • 项目
  • 项目
  • 项目