google-research/android_world

해결하는 문제

AndroidWorld는 컴퓨터(특히 Android 장치)를 제어할 수 있는 자율 에이전트를 개발하고 테스트하기 위한 표준화된 환경을 제공합니다. AI 에이전트가 실제 세계 앱을 탐색하고 모바일 운영 체제에서 복잡한 작업을 수행하는 능력을 평가하기 위한 재현 가능한 벤치마크의 필요성을 해결합니다.

작동 방식

이 프로젝트는 실시간 Android 에뮬레이터에서 실행됩니다. 20개의 다른 앱에 걸쳐 116개의 수작업으로 제작된 작업의 벤치마크를 포함합니다. 에이전트가 특정 경로를 단순히 암기하는 것을 방지하기 위해, 환경은 동적 작업 생성을 사용하며, 랜덤한 매개변수를 생성하여 수백만 가지의 고유한 작업 변형을 생성합니다. 또한 MiniWoB++ 웹 벤치마크를 통합하여 웹 요소를 네이티브 Android UI 위젯으로 렌더링하여, 에이전트가 보편적인 모바일 인터페이스 컴포넌트를 사용하는 능력을 테스트합니다.

대상 사용자

자율 에이전트를 개발하는 AI 연구자 및 개발자, 특히 컴퓨터 제어, 모바일 UI 탐색, 일반 목적 AI 어시스턴트에 초점을 맞춘 사람들에게 적합합니다.

주요 특징

• 다양한 작업 세트: 20개의 실제 앱에 걸쳐 116개의 작업.
• 동적 변형: 랜덤 매개변수 생성을 통해 수백만 가지의 고유한 작업 순열 가능.
• 신뢰할 수 있는 평가: 일관된 벤치마크를 위한 내구성 있는 보상 신호 사용.
• 확장 가능한 아키텍처: 기본 에이전트 클래스를 통해 새로운 작업 및 사용자 정의 에이전트 구현 추가 지원.
• 광범위한 호환성: 수백만 개의 Android 앱과 웹사이트에 접근 가능한 오픈 환경.
• 배포 유연성: 다양한 환경에서 일관된 설정을 가능하게 하는 실험적 Docker 지원 포함.