droidrun/mobilerun-portal

해결하는 문제

Mobilerun Portal은 Android 사용자 인터페이스와 프로그래밍 방식으로 상호작용하고 분석할 수 있는 방법을 제공합니다. 실시간 UI 요소 데이터(예: 클릭 가능한 또는 편집 가능한 필드)를 추출하는 어려움과 UI 테스트, 자동화 개발, 접근성 감사 등의 목적을 위해 장치를 원격으로 제어하는 문제를 해결합니다.

작동 방식

이는 화면에 상호작용 가능한 오버레이를 생성하여 UI 요소를 강조하는 Android 접근성 서비스로 작동합니다. 외부 도구가 UI 트리 쿼리, 키보드 입력 전송, 장치 상태 관리 등을 수행할 수 있도록 HTTP 소켓 서버, WebSocket JSON-RPC, ADB에 접근 가능한 ContentProvider 등의 여러 제어 인터페이스를 노출합니다. 또한 클라우드 기반 제어를 위한 역방향 WebSocket 연결과 실시간 화면 스트리밍을 위한 WebRTC도 지원합니다.

대상 사용자

이 도구는 Android UI 자동화, 접근성 테스터, 원격 제어 또는 AI 기반 모바일 에이전트 프레임워크를 개발하는 개발자 및 QA 엔지니어를 위한 것입니다.

주요 기능

• 다중 인터페이스 제어: 로컬 접근을 위한 ADB, HTTP, WebSockets를 지원하며, 클라우드 제어를 위한 역방향 WebSocket도 제공합니다.
• 실시간 UI 분석: JSON 형식으로 접근성 트리를 추출하여 클릭 가능한, 스크롤 가능한, 포커스 가능한 요소를 식별합니다.
• 원격 장치 관리: URL에서 APK 설치, 클립보드 조작, 화면 켜짐 감시기(워치독) 기능을 제공합니다.
• 시각적 피드백: 장치 화면의 UI 요소를 시각적으로 식별할 수 있도록 상호작용 가능한 오버레이를 포함합니다.
• 저수준 상호작용: 직접 키보드 입력과 키 이벤트 시뮬레이션(예: Enter, Back, Home)을 제공합니다.