leggedrobotics/robotic_world_model

Repository for our papers: Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics and Uncertainty-Aware Robotic World Model Makes Offline Model-Based Reinforcement Learning Work on Real Robots

해결 과제

이 프로젝트는 로봇 공학에서 모델 기반 강화 학습을 위한 프레임워크를 제공하여, 로봇이 물리적 또는 시뮬레이션 환경과의 상호 작용에만 의존하지 않고 '상상력'을 통해 학습할 수 있도록 합니다. 미래 상태를 예측하는 동역학 모델을 학습함으로써 강력한 정책 최적화의 필요성을 해결하며, 이를 통해 온라인(시뮬레이터 피드백 사용) 또는 오프라인(정적 모델 사용)으로 정책을 훈련할 수 있습니다.

작동 방식

이 프레임워크는 Isaac Lab을 확장하여 Robotic World Model (RWM) 및 Uncertainty-Aware Robotic World Model (RWM-U)이라는 두 가지 주요 접근 방식을 지원합니다. 사용자는 신경망을 동역학 모델(로봇이 행동에 어떻게 반응할지 예측하는 시뮬레이터)로 학습시킵니다. 학습이 완료되면 로봇은 학습된 동역학 모델 내에서 작업을 연습하는 '상상력 롤아웃'을 수행할 수 있습니다. 이 시스템은 모델과 정책이 시뮬레이터 데이터와 동시에 업데이트되는 온라인 학습과, 정책이 완전히 정적인 학습 모델 내에서 최적화되는 오프라인 학습을 모두 지원합니다.

대상 사용자

이 도구는 모델 기반 강화 학습을 연구하는 로봇 공학 연구자 및 개발자를 위해 설계되었으며, ANYmal D와 같은 복잡한 로봇의 정책을 최적화하려는 경우에 유용합니다. 특히 불확실성을 고려한 동역학 모델을 활용하여 시뮬레이션 기반 훈련과 실제 환경 배포 사이의 간극을 메우려는 분들에게 적합합니다.

주요 특징

  • 정책과 신경 동역학 모델의 공동 학습 지원.
  • 시뮬레이터 없이 정적 동역학 모델을 사용한 오프라인 정책 학습 가능.
  • 학습된 동역학으로부터의 자기회귀적 상상력 롤아웃을 시각화하는 도구 제공.
  • ANYmal D 로봇을 위한 특정 구성 포함.
  • 불확실성 추정을 제공하여 오프라인 모델 기반 강화 학습의 신뢰성 향상.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트