droidrun/mobile-harness

해결하는 문제

Mobile Harness는 AI 에이전트가 Android 및 iOS 장치를 제어할 수 있도록 표준화된 운영 지침과 Python API를 제공합니다. AI 에이전트의 추론과 실제 모바일 장치에서의 작업 실행 사이의 격차를 메우며, 장치가 로컬에 연결되어 있든 클라우드에 호스팅되어 있든 상관없이 작동합니다.

작동 방식

이것은 작고 컴팩트한 Markdown 하네스와 제어 라이브러리(mobilerun_core)로 작동합니다. 에이전트는 다양한 백엔드(안드로이드용 ADB, iOS 및 안드로이드용 HTTP 포털, 또는 클라우드 서비스)를 통해 장치에 연결합니다. 연결 후, 에이전트는 고수준 헬퍼를 사용하여 접근성 트리에서 UI 요소를 찾고, 노드를 탭하거나, 텍스트를 입력하거나, 스크롤하거나, 스크린샷을 찍을 수 있습니다. 또한 AGENTS.md 및 플랫폼별 가이드와 같은 구조화된 Markdown 가이드를 포함하여, 현재 작업이나 플랫폼에 따라 에이전트가 올바른 지침으로 라우팅되도록 합니다.

대상 사용자

이 도구는 실제 안드로이드 및 iOS 하드웨어에서 작업 자동화, 테스트 수행 또는 모바일 애플리케이션과의 상호작용이 필요한 AI 에이전트를 개발하는 개발자들을 위한 것입니다.

주요 특징

• 크로스플랫폼 지원: 안드로이드 및 iOS 모두 지원.
• 유연한 연결성: 로컬 ADB, 로컬 HTTP 포털, 클라우드 기반 장치 접근을 모두 지원.
• 접근성 기반 상호작용: find_nodes 및 tap_node를 통해 장치의 접근성 트리로 UI 요소를 검색하고 상호작용.
• 에이전트 중심 문서: 실행 중에 AI 에이전트가 읽고 따를 수 있도록 설계된 Markdown 가이드 시스템 포함.
• 웹 통합: 클라우드 장치에서 포그라운드 Chrome 탭에서 JavaScript를 실행할 수 있습니다.