OpenAI Five가 Dota 2 세계 챔피언을 물리치다
OpenAI Five는 e스포츠 게임에서 세계 챔피언을 처음으로 이긴 AI이며, 세계 챔피언 Dota 2 팀 OG와의 두 번 연속 경기에서 승리했습니다. 이 성과는 AI가 라이브 라이브스트리밍 환경에서 e스포츠 프로페셔널을 처음으로 이긴 사례입니다.
성능의 주요 동인으로서 컴퓨팅 확장
OpenAI Five가 세계 수준의 성능에 도달하기 위한 기본 요구 사항은 새로운 알고리즘 복잡성보다는 규모였습니다. 팀은 inicialmente 복잡한 계층적 강화 학습이 필요할 것으로 예상했으나, 훈련 과정을 확장함으로써 필요한 돌파구를 얻을 수 있음을 발견했습니다.
이를 달성하기 위해 OpenAI는 Rapid라는 시스템을 개발하여 전례 없는 규모에서 Proximal Policy Optimization(PPO)을 실행했습니다.その結果, 현재 강화 학습(RL) 알고리즘은 막대한 양의 경험이 제공될 때 매우 강력하다는 것이 입증되었지만, 이는 시뮬레이션 환경 외의 응용에서는 여전히 과제로 남아 있습니다.
훈련 규모 및 컴퓨팅 통계
OG에 대한 승리는 2018 The International에서 경쟁한 OpenAI Five 버전 대비 훈련 컴퓨팅이 8배 증가했기 때문으로 여겨집니다. 프로젝트가 단일 모델에 대해 이미 대부분의 사용 가능한 컴퓨팅을 활용했기 때문에, 팀은 훈련 기간을 연장하여 규모를 늘렸습니다.
OpenAI Five 파이널 버전의 주요 컴퓨팅 지표는 다음과 같습니다:
- Total Compute: 800 petaflop/s-days.
- Simulated Experience: Approximately 45,000 years of Dota self-play over 10 real-time months.
- Daily Experience: An average of 250 years of simulated experience per day.
현재 게임 패치에서 평가했을 때, 파이널 버전의 OpenAI Five는 The International에서 사용된 버전에 대해 99.9%의 승률을 유지합니다.
장기 훈련 및 전이 학습
OpenAI Five는 2018년 6월부터 지속적으로 훈련되어 왔습니다. 시스템은 모델 크기 변경 및 게임 규칙 업데이트(패치)에 걸쳐 학습을 전이할 수 있는 능력을 보여주었습니다. 이는 아키텍처 변경이 있는 장시간 훈련 실행 유지가 일반적으로 개방된 과제인 강화 학습에서 중요한 이정표입니다.
이를 용이하게 하기 위해 OpenAI는 "surgery" 도구를 활용하여 상당한 아키텍처 수정 후에도 이전에 훈련된 파라미터로부터 모델을 시작할 수 있도록 했습니다.
영웅 풀 확장 및 제한
파이널 버전의 OpenAI Five는 17명의 영웅으로 플레이합니다. 팀은 훈련 속도의 거의 저하 없이 영웅 풀을 5명에서 18명으로 성공적으로 확장했으나, 25명의 영웅으로 확장하려는 시도는 학습 속도의 저하를 초래했습니다.
25명 영웅 풀의 영웅들은 약 5k MMR(플레이어의 약 95퍼센타일에 해당)에 도달했으나, 파이널 이전에 프로 수준에 도달하지 못했습니다. OpenAI는これが 모델 용량 부족, 확장된 풀에 대한 더 나은 매치메이킹 필요성, 또는 새로운 영웅이 확립된 영웅들을 따라잡기 위해 더 많은 훈련 시간이 필요하기 때문일 수 있다고 가설합니다.
인간 협업에 대한 제로샷 전이
다른 봇과 경쟁하기 exclusivamente 훈련되었음에도 불구하고, OpenAI Five는 인간과의 팀원으로서 rudimentary한 능력을 보여주었습니다. 이는 에이전트가 협업 전용 훈련 없이 인간과의 협업으로 행동을 일반화하는 제로샷 전이 학습의 예시입니다.
OpenAI Five Arena를 통한 공개 테스트
에이전트의 악용 가능성과 성능의 신뢰성을 테스트하기 위해, OpenAI는 OpenAI Five Arena를 출시했습니다. 이 공개 실험은 커뮤니티가 경쟁 및 협동 모드에서 AI와 상호작용할 수 있도록 허용했으며, 이는 공개 상호작용을 위한 altamente competent한 딥 강화 학습 에이전트의 가장 큰 배포로 작용했습니다.