파라미터 노이즈를 통한 더 나은 탐색

개요

강화 학습 알고리즘의 파라미터에 적응형 노이즈를 추가하면 성능이 자주 향상되고, 구현이 간단하며, 매우 드물게 성능을 저하시켜 어떤 문제에도 시도해 볼 만합니다.

파라미터 노이즈 작동 방식

파라미터 노이즈는 에이전트의 신경망 정책 파라미터에 직접 무작위성을 주입하여 현재 관측에 완전히 의존하면서 결정의 종류를 바꾸며, 이는 전통적인 액션 공간 노이즈와 달리 액션 발생 확률을 예측할 수 없게 바꾸지 않습니다. 이 접근 방식은 롤아웃 중에 액션에 영향을 주지 않고 정책 파라미터를 조작하는 진화 전략과, 액션 공간에 노이즈를 추가하지만 파라미터를 건드리지 않는 TRPO, DQN, DDPG 같은 딥 RL 방법 사이에 위치합니다.

경험적 결과

HalfCheetah Gym 환경에서 20 에피소드 동안 학습한 후, 파라미터 노이즈로 훈련된 정책은 약 3,000점의 점수를 달성하는 반면, 전통적인 액션 노이즈로 훈련된 정책은 약 1,500점에 머뭅니다. 파라미터 노이즈는 에이전트가 환경을 더 효과적으로 탐색하도록 도와 timestep 간에 탐색이 일관되게 됨으로써 더 높은 점수와 더 우아한 행동을 이끌어냅니다.

과제 해결

연구 중에 세 가지 문제가 발생했습니다: 서로 다른 네트워크 레이어가 교란에 대한 민감도가 다르며, 정책 가중치의 민감도가 시간에 따라 변하고, 적절한 노이즈 스케일을 선택하기 어렵습니다. 레이어 정규화를 사용하여 레이어 민감도를 균등하게 만들고, 교란된 레이어가 유사한 분포 내에 머무르도록 했습니다. 적응형 스케임은 액션 공간에 미치는 영향을 측정하고 목표와 비교하여 교란 크기를 조절함으로써 노이즈‑스케일 문제를 더 해석하기 쉬운 액션 공간으로 옮깁니다.

베이스라인 및 벤치마크

파라미터 노이즈를 포함한 베이스라인 코드가 DQN, Double DQN, Dueling DQN, Dueling Double DQN, DDPG에 대해 공개되었습니다. 벤치마크에서는 Atari 게임의 일부 서브셋에서 파라미터 노이즈 유무에 따른 DDQN을 비교하고, Mujoco 연속 제어 작업의 범위에서 DDPG의 세 가지 변형을 비교했습니다.

개발 통찰

DQN의 Q function에 노이즈를 적용한 초기 실험에서는 에이전트가 같은 행동을 반복하는 경우가 있었는데, 별도의 policy head를 추가함(DDPG와 같이)これを 완화했습니다. 후속 실험에서는 노이즈 재스케일링의 개선으로 별도의 policy head가 불필요해졌으며, 이로 인해 성능이 비슷한 더 간단하고 비용이 낮은 구현이 가능해졌습니다. 이는 RL 알고리즘이 silently 실패할 수 있음을 보여주며, 엔지니어가 미발견된 버그에 대한 우회 방법을 마련하도록 촉구합니다.

저자

Matthias Plappert, Rein Houthooft, Prafulla Dhariwal, Szymon Sidor, Pieter Abbeel, Marcin Andrychowicz, Richard Chen, Xi Chen, Tasmin Asfour