google-deepmind/android_env

해결하는 문제

AndroidEnv는 Android 기기(또는 에뮬레이터)를 강화학습(RL) 환경으로 전환하는 표준화된 방법을 제공합니다. 연구자들은 Android OS 및 설치된 앱을 탐색하는 에이전트를 훈련시킬 수 있으며, 시각적 입력과 터치 입력만을 사용하여 실제 디지털 환경에서 작동하는 에이전트를 연구할 수 있습니다.

작동 방식

이 라이브러리는 시뮬레이션된 Android 기기를 래핑하여 RL 환경으로 노출합니다. 에이전트는 인간의 터치스크린 조작을 모방하는 유니버설 액션 인터페이스를 통해 기기와 상호작용합니다: 지역적 터치 및 떼기 이벤트를 전송합니다. 환경은 화면의 RGB 픽셀 관측값과 사용자 정의 작업 정의에 기반한 보상을 반환합니다(예: 이메일을 성공적으로 전송하거나 게임에서 점수를 달성한 경우의 보상).

대상 사용자

복잡하고 실시간 사용자 인터페이스와 상호작용하며 다양한 Android 앱에서 작업을 학습할 수 있는 에이전트에 관심이 있는 강화학습에 집중하는 AI 연구자들을 위한 것입니다.

주요 특징

• 현실 세계의 맥락: 수십억 명이 사용하는 변경되지 않은 Android OS를 사용하여 에이전트가 실제 환경에서 학습합니다.
• 하이브리드 액션 공간: 위치에 대한 연속 좌표와 터치/리프트 이벤트에 대한 이산 신호를 결합하여 스와이프, 핀치 등 복잡한 제스처를 가능하게 합니다.
• 픽셀 기반 관측: 에이전트는 화면의 RGB 값을 받으며, 다운샘플링 옵션도 제공합니다.
• 실시간 시뮬레이션: 환경의 동역학은 실시간으로 실행되며, 에이전트가 고민하는 것을 기다리지 않습니다.
• 유연한 작업 정의: 게임 및 생산성 도구를 포함한 어떤 Android 앱에 대해서도 사용자 정의 작업을 생성할 수 있습니다.