OpenAI 파라미터 노이즈를 통한 개선된 탐색

OpenAI는 강화학습(RL) 알고리즘의 파라미터에 적응형 노이즈를 추가하면 성능 향상과 학습 속도 향상이 자주 이루어진다는 것을 입증했다. 이 기법은 전통적인 액션 공간 노이즈보다 더 일관된 형태의 탐색을 제공하여 다양한 RL 문제에 유연하게 적용할 수 있다.

파라미터 노이즈 vs. 액션 공간 노이즈

파라미터 노이즈는 에이전트의 신경망 정책 파라미터에 직접 무작위성을 주입하여, 에이전트의 결정이 항상 현재의 감각 입력에 완전히 의존하도록 보장한다. 이는 전통적인 RL 탐색과 다음과 같은 차이를 보인다:

• 액션 공간 노이즈: 전통적인 RL은 한 순간에서 다음 순간으로 행동의 가능성을 변화시켜, 에이전트의 특정 파라미터와 관련 없이 예측할 수 없는 탐색을 유도한다.
• 파라미터 공간 노이즈: 파라미터 자체를 변경함으로써, 에이전트의 탐색은 서로 다른 타임스텝 간에 일관되게 유지되며, 더 우아한 행동과 더 높은 점수를 가능하게 한다.

이 접근법은 진화 전략(정책 파라미터를 조작하지만 롤아웃 중 행동에 영향을 주지 않음)과 TRPO, DQN, DDPG와 같은 딥 RL 접근법(일반적으로 액션 공간에 노이즈를 추가함) 사이의 중간 지점에 해당한다.

연속 제어에서의 성능 향상

파라미터 노이즈는 전통적인 방법보다 에이전트가 작업을 더 빠르게 습득하게 한다. HalfCheetah Gym 환경에서, 파라미터 노이즈를 사용해 훈련된 정책은 20 에피소드 후 약 3,000점에 도달했지만, 전통적인 액션 노이즈를 사용한 정책은 약 1,500점에 그쳤다.

기술적 구현 및 도전 과제

OpenAI는 딥 신경망에 파라미터 노이즈를 적용할 때 세 가지 주요 과제를 식별하고 각각에 대해 구체적인 기술적 해결책을 구현했다:

1. 레이어 민감도

다른 네트워크 레이어는 변형에 대해 서로 다른 민감도를 보인다. OpenAI는 레이어 정규화를 활용하여 변형된 레이어의 출력이 다음 레이어의 입력이 되기 전에 유사한 분포를 유지하도록 보장했다.

2. 가중치 민감도 및 예측 가능성

정책 가중치의 민감도는 훈련 도중 변화할 수 있어 행동 예측이 어려워진다. OpenAI는 액션 공간에 미치는 영향을 측정함으로써 파라미터 공간 변형의 크기를 조정하는 적응형 방식을 도입했다.

3. 노이즈 스케일 선택

파라미터 공간에서 올바른 노이즈 스케일을 선택하는 것은 직관적이지 않다. 적응형 방식은 이 문제를 액션 공간으로 옮겨, 연구자들이 더 이해하기 쉬운 영역에서 해결할 수 있도록 한다.

알고리즘 호환성 및 벤치마크

OpenAI는 파라미터 노이즈를 온폴리시 및 오프폴리시 알고리즘 모두에 확장했다. 다음 알고리즘에 이 기법을 포함한 베이스라인 코드가 공개되었다:

• DQN
• Double DQN
• Dueling DQN
• Dueling Double DQN
• DDPG

이 구현체의 벤치마크에는 Atari 게임의 일부에서 DDQN의 성능과 Mujoco 시뮬레이터에서 다양한 연속 제어 작업에 대한 세 가지 DDPG 변형이 포함되어 있다.

DQN 구현 개발 통찰

초기 개발 단계에서 OpenAI는 극단적인 변형이 알고리즘에서 동일한 행동을 반복하게 하지 않도록 하기 위해 DQN에 별도의 정책 헤드를 추가했다. 그러나 이후 실험을 통해 이 별도의 헤드가 불필요하다는 것이 밝혀졌다. 노이즈를 다시 스케일링하는 방식을 개선함으로써, 더 간단하고 비용이 덜 드는 구현으로 유사한 결과를 달성할 수 있었다. OpenAI는 이는 강화학습에서 알고리즘이 "침묵하고 미묘하게 실패"할 수 있다는 공통된 문제를 강조하며, 복잡한 해결책을 도입하기보다는 간단한 방법으로 버그를 해결할 수 있음을 시사한다.