OpenAI 메타 학습 레슬링 OpenAI는 메타 학습 에이전트가 시뮬레이션된 로봇 레슬링에서 더 강한 고정 정책 에이전트를 물리치기 위해 전술을 빠르게 적응시키고 신체적 오작동에서 회복할 수 있음을 보여주었다.

OpenAI 메타 학습 레슬링

OpenAI는 시뮬레이션된 로봇 레슬링을 위한 메타 학습 에이전트를 개발하여 더 강한 상대를 물리치고 신체적 오작동을 보완하기 위해 전략을 빠르게 적응시킬 수 있다. 이 기능은 에이전트가 새로운 환경이나 상대와의 소수의 상호작용을 기반으로 실시간으로 성능을 최적화할 수 있게 한다.

수정된 MAML을 이용한 다중 에이전트 적응

OpenAI는 모델에 구애받지 않는 메타 학습(MAML) 알고리즘을 확장하여 단일 환경이 아닌 환경 쌍에 대해 최적화하도록 하였다. 표준 MAML은 최소한의 매개변수 업데이트로 새로운 작업에 빠르게 적응할 수 있도록 정책을 초기화하지만, 이 수정된 버전은 이전 학습 데이터로부터 너무 크게 벗어나지 않는 한 이전에 보지 못한 환경에도 적응할 수 있게 한다. 실행 중에 에이전트는 새로운 환경과의 상호작용 초기 몇 에피소드에서 수집된 보상에 대해 기울기 상승 단계를 수행한다. 이 과정을 통해 에이전트는 특정 상대에 더 효과적으로 대처하기 위해 정책 매개변수를 실시간으로 세분화할 수 있다.

실험 설정 및 결과

연속 적응을 테스트하기 위해 OpenAI는 형태가 다른 세 가지 유형의 시뮬레이션 에이전트를 사용하였다:

• Ant (4족)
• Bug (6족)
• Spider (8족)

이 에이전트들은 동일한 상대와 여러 경기를 치르는 다 라운드 게임에서 경쟁하였다. 메타 학습 에이전트는 라운드 간에 정책 매개변수를 조정하여 상대의 특정 전략에 대응하였다. OpenAI는 전술을 적응시킬 수 있는 에이전트가 고정 정책을 가진 에이전트보다 훨씬 더 성공적인 경쟁자임을 발견하였다.

신체적 오작동에 대한 적응

외부 상대에 대한 적응을 넘어, 메타 학습 접근 방식은 에이전트가 내부 변화를 처리할 수 있게 한다. OpenAI는 에이전트가 시간이 지남에 따라 자신의 일부 사지의 기능 상실과 같은 신체적 오작동에 적응할 수 있음을 보여주었다. 이는 메타 학습이 외부 환경 변화뿐만 아니라 에이전트自身의 내부 상태나 신체 변화도 처리할 수 있는 에이전트를 개발하는 데 사용될 수 있음을 시사한다.

가용성 및 연구 맥락

이 연구는 OpenAI의 대규모 다중 에이전트 시스템에 대한 보다 광범위한 연구의 일부이다. 추가 실험을 용이하게 하기 위해 OpenAI는 GitHub를 통해 연구에 사용된 MuJoCo 환경과 훈련된 정책을 공개하였다.