Purewhiter/mobilegym

What it solves

MobileGym은 모바일 GUI 에이전트의 훈련 및 평가를 위한 실기기 및 에뮬레이터 환경의 한계를 해결합니다. MobileGym은 세 가지 주요 "벽"을 해결합니다:

1. Unreadable state: 실기기에서는 접근성 트리(accessibility trees)가 계정 잔액이나 채팅 기록과 같은 중요한 데이터를 숨기는 경우가 많지만, MobileGym은 전체 환경을 구조화된 JSON 스냅샷으로 제공하여 결정론적 검증을 가능하게 합니다.
2. Unwritable state: 사용자가 수백 개의 병렬 인스턴스에서 상태를 초기화, 주입 및 복제할 수 있도록 함으로써, (종종 암호화된 데이터베이스나 서버 백엔드에 숨겨져 있는) 앱 상태를 초기화하거나 복제하는 데 따르는 어려움을 제거합니다.
3. Irreversible side effects: 에이전트가 실제 세계의 결과 없이 고위험 작업(예: 송금)을 수행할 수 있는 안전한 샌드박스 환경을 제공하여, 확장 가능한 온라인 강화 학습(RL)을 가능하게 합니다.

How it works

MobileGym은 브라우저 기반 모바일 시뮬레이션 플랫폼입니다. 이는 Benchmark Layer (Python/Playwright를 사용한 작업 템플릿 및 판사), Apps Layer (선언적 탐색을 사용하는 시뮬레이션된 앱), 그리고 OS Runtime layer로 구성된 3계층 아키텍처를 사용합니다.

주요 메커니즘은 다음과 같습니다:

• Programmable State: 환경은 캡처, 구성 및 복원할 수 있는 단일 JSON blob으로 취급됩니다.
• Deterministic Judges: 확률적인 VLM 판사를 사용하는 대신, 구조화된 상태를 직접 읽어 밀리초 미만의 판결을 제공하는 프로그래밍 방식의 체크 함수를 사용합니다.
• Parallel Rollouts: 경량화된 풋프린트(인스턴스당 약 400 MB RAM)를 사용하여 단일 서버에서 최대 256개의 병렬 인스턴스를 실행할 수 있습니다.
• Sim-to-Real Transfer: 이 플랫폼은 행동 충실도를 위해 설계되어, 시뮬레이션에서 훈련된 에이전트가 실제 하드웨어로 그 성과를 전이할 수 있도록 합니다.

Who it’s for

모바일 GUI 에이전트를 구축하는 연구자 및 개발자, 특히 온라인 RL, 신뢰할 수 있는 평가, 그리고 계정 기반 또는 백엔드 의존적 애플리케이션과 상대작용하는 에이전트에 집중하는 이들을 대상으로 합니다.

Highlights

• 28 Simulated Apps: WeChat, Alipay, Bilibili, Spotify와 같은 인기 앱의 연구용 대리 앱과 시스템 앱을 포함합니다.
• 416 Task Templates: 테스트 및 훈련을 위한 광범위한 매개변수화된 작업을 제공합니다.
• High Scalability: 빠른 콜드 스타트(~3초)와 함께 단일 서버에서 256개의 병렬 인스턴스를 지원합니다.
• Verifiable Outcomes: 실기기 파이프라인이 감지할 수 없는 예기치 않은 부작용을 감지하기 위해 상태 차이 분석(state-diffing)을 사용합니다.
• AnswerSheet Protocol: 에이전트가 구조화된 양식을 작성하여 사고 과정(chain-of-thought) 유출이 성능 지표를 게임화하는 것을 방지합니다.
• Sim-to-Real Validated: 시뮬레이션에서 실제 기기로 전이할 때 훈련 성과가 95.1% 유지됨을 입증했습니다.