시뮬레이션에서 실제 세계로의 전이: 깊은 역동역학 모델 학습을 통한 – OpenAI 2016

요약

OpenAI는 시뮬레이션에서 학습된 제어 정책을 실제 세계 로봇으로 전이하는 기술을 도입했습니다. 각 시간 단계에서 이 방법은 시뮬레이션 정책을 사용하여 다음 상태를 예측한 후, 학습된 깊은 역동역학 모델을 쿼리하여 해당 상태를 생성할 실제 세계 행동을 선택함으로써 정확한 동역학 매개변수가 필요 없도록 우회합니다.

방법 개요

이 접근법은 먼저 시뮬레이션에서 훈련된 제어 정책을 실행합니다. 실제 로봇에서 정책의 원시 제어 신호를 실행하는 대신, 해당 신호를 적용한 후 시뮬레이션이 예상하는 상태를 계산합니다. 실제 세계 데이터로 훈련된 깊은 역동역학 모델은その後 해당 예상 다음 상태를 달성할 가장 가능성이 높은 실제 세계 행동을 결정합니다. 이 역동 모델은 시뮬레이션-실제 세계 간 격차를 일으키는 누락되거나 부정확한 동역학 항목(예: 마찰, 접촉, 질량, 기하학)을 대체합니다.

역동역학 모델을 위한 데이터 수집

깊은 역동역학 모델을 훈련하기 위해 저자들은 증분 데이터 수집 절차를 제안합니다. 로봇은 탐색적 행동을 실행하고, 결과 상태 전이를 기록하며, 이러한 쌍(행동, 결과 상태)을 사용하여 모델을 감독합니다. 더 많은 데이터가 수집됨에 따라 모델의 예측이 향상되어, 전이 방법이 시간이 지남에 따라 행동 선택을 개선할 수 있게 됩니다.

실험 비교

저자들은 출력 오류 제어 및 가우시안 동역학 적응과 같은 시뮬레이션-실제 세계 간 차이를 처리하기 위해 설계된 여러 베이스라인과의 방법 성능을 평가했습니다. 실험 결과, 깊은 역동역학 접근법이 이러한 베이스라인에 비해 유리하게 나타났으며, 이는 실제 데이터로부터 역동 모델을 학습함으로써 명시적인 시스템 식별 없이 격차를 효과적으로 줄일 수 있음을 시사합니다.

시사점

정책 학습과 정확한 동역학 모델링을 분리함으로써 이 기술은 하드웨어에 배포하기 전에 시뮬레이션에서 복잡한 로봇 행동을 개발하는 것을 더 안전하고 실용적으로 만듭니다. 또한 일반적인 전략을 강조합니다: 실제 상호작용으로부터 역동역학 모델을 학습하고 이를 사용하여 시뮬레이션된 계획을 실제 세계 행동으로 변환하는 것이며, 이 원리는 다양한 로봇 플랫폼 및 학습 알고리즘에 적용할 수 있습니다.