OpenAI 진화된 정책 그라디언트 (EPG)

OpenAI는 Evolved Policy Gradients (EPG)를 도입했습니다. 이는 정책이 아닌 손실 함수를 진화시켜 강화 학습(RL) 에이전트가 새로운 작업을 보다 효율적으로 학습하도록 하는 메타러닝 방법입니다. 이 접근 방식은 에이전트가 유사한 작업들 간의 진행 상황을 인코딩한 진화된 손실 함수를 활용함으로써 "백지 상태"에서 시작하는 것을 피할 수 있게 합니다.

메타러닝을 위한 손실 함수 진화

EPG는 학습 효율성과 일반화를 향상시키기 위해 손실 함수 자체를 진화시키는 데 초점을 맞춥니다. 이는 순환 정책이나 정책 초기화를 학습하는 다른 메타러닝 접근 방식과 다릅니다. OpenAI는 순환 정책이 특정 작업에 과적합되는 경우가 많으며, 정책 초기화는 탐색에 대한 표현력이 제한적이라고 지적합니다.

손실 함수는 본질적으로 서로 크게 다른 작업들 간에 가장 일반화될 가능성이 높은 대상이라고 가정됩니다. 이는 Proximal Policy Optimization (PPO)에서 사용되는 손실 함수와 같이 손으로 설계된 손실 함수가 Atari 게임이나 로봇 제어와 같은 다양한 문제에 일반적으로 적용될 수 있다는 논리와 동일합니다.

일반화 성능 및 "Ant" 실험

EPG의 일반화 능력을 테스트하기 위해 OpenAI는 에이전트("ants")가 경기장 오른쪽 절반에 무작위로 배치된 목표 지점으로 이동하도록 하는 실험을 수행했습니다.

실험의 주요 결과는 다음과 같습니다:

• Training: EPG 손실은 경기장 오른쪽 절반의 목표에 효과적이도록 진화되었습니다.
• Testing: 손실을 고정한 후, 에이전트에게 경기장 왼쪽 절반의 목표가 주어졌습니다—이는 훈련 분포 밖의 작업입니다.
• Outcome: 에이전트는 왼쪽으로 이동하는 것을 성공적으로 학습했으며, 이는 훈련 분포 밖 작업에 대한 일반화를 보여줍니다.

이에 비해 새로운 작업에 적응하는 정책을 학습하는 RL2 알고리즘은 이 상황에서 실패했습니다. RL2는 오른쪽 절반 목표에서는 성공했지만, 왼쪽 절반 목표가 제시되었을 때는 질적으로 실패하여 계속 오른쪽으로 이동했습니다. 이는 RL2가 특정 훈련 작업에 과적합되었음을 시사합니다.

현재 제한 사항 및 성능과 일반성 사이의 트레이드오프

EPG가 작업군 내 일반화에서 가능성을 보이지만, 현재는 성능과 손실 함수의 일반성 사이에 트레이드오프가 존재합니다.

• Task Family Limitation: EPG는 현재 하나의 작은 작업군(예: 왼쪽 및 오른쪽으로 걷기)에서만 효과적인 손실 함수를 학습할 수 있습니다.
• Comparison to Standard RL: 표준 RL 손실 함수는 매우 일반적이며, 같은 손실을 Space Invaders와 같은 전혀 다른 기술에도 사용할 수 있습니다. 그러나 EPG 손실 함수는 아직 서로 전혀 다른 작업에 교차 적용될 만큼 일반적이지 않습니다.

OpenAI는 EPG가 표준 RL 방법에서 발견되는 광범위한 일반성을 희생함으로써 특정 작업군 내에서 성능을 얻는다고 결론짓습니다.