leggedrobotics/robotic_world_model

Repository for our papers: Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics and Uncertainty-Aware Robotic World Model Makes Offline Model-Based Reinforcement Learning Work on Real Robots

解決する課題

このプロジェクトは、ロボット工学におけるモデルベース強化学習のためのフレームワークを提供し、物理環境やシミュレーション環境との相互作用だけに頼るのではなく、「想像力」から学習できるようにします。将来の状態を予測する動力学モデルを学習させることで堅牢なポリシー最適化のニーズに対応しており、これらのモデルを使用してオンライン(シミュレーターのフィードバックを使用)またはオフライン(静的モデルを使用)でポリシーをトレーニングできます。

仕組み

このフレームワークは Isaac Lab を拡張し、Robotic World Model (RWM) と Uncertainty-Aware Robotic World Model (RWM-U) という2つの主要なアプローチをサポートします。ユーザーはニューラルネットワークを動力学モデル(ロボットがアクションにどう反応するかを予測するシミュレーター)として学習させます。学習が完了すると、ロボットは学習済みの動力学モデル内でタスクを練習する「想像力ロールアウト」を実行できます。システムは、モデルとポリシーがシミュレーターデータと同時に更新されるオンライン学習と、ポリシーが完全に静的な学習済みモデル内で最適化されるオフライン学習の両方をサポートしています。

対象ユーザー

このツールは、モデルベース強化学習に取り組むロボット工学の研究者や開発者向けに設計されており、ANYmal D のような複雑なロボットのポリシーを最適化したい場合に適しています。特に、不確実性を考慮した動力学モデルを活用して、シミュレーションベースのトレーニングと実世界への展開との間のギャップを埋めたいと考えている方に最適です。

ハイライト

  • ポリシーとニューラル動力学モデルの同時学習をサポート。
  • シミュレーターを必要とせず、静的な動力学モデルを使用したオフラインポリシー学習が可能。
  • 学習済み動力学からの自己回帰的な想像力ロールアウトを可視化するツールを提供。
  • ANYmal D ロボット向けの特定の構成が含まれています。
  • 不確実性の推定を提供し、オフラインのモデルベース強化学習の信頼性を向上させます。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト