droidrun/mobilerun

해결하는 문제

Mobilerun은 자연어 명령을 사용하여 Android 및 iOS 장치를 제어할 수 있는 방법을 제공합니다. LLM 에이전트가 앱을 탐색하고, 다단계 워크플로우를 수행하며, 모바일 인터페이스에서 데이터를 추출할 수 있도록 함으로써, 모바일 상호작용을 수동으로 스크립팅할 필요를 제거합니다.

작동 방식

이 프레임워크는 LLM과 모바일 OS 사이의 격차를 메우기 위해 장치에 설치된 'Portal' 앱을 사용합니다. 접근성 트리(UI 상태)와 스크린샷을 결합하여 시각적 이해를 가능하게 합니다. 에이전트는 탭, 스와이프, 입력 등의 동작을 실행할 수 있습니다. 다양한 LLM 제공자(OpenAI, Anthropic, Gemini 등)를 지원하며, 머신 기반 제어를 위한 로컬 프레임워크와 호스팅된 장치를 위한 클라우드 관리 서비스라는 두 가지 운영 모드를 제공합니다.

대상 사용자

• QA 엔지니어: 모바일 앱 테스트 및 리그레션 검사에 사용.
• 개발자: Python API를 통해 사용자 정의 모바일 자동화 워크플로우를 구축.
• 비즈니스 사용자: 자연어를 사용하여 반복적인 모바일 작업을 자동화하거나 네이티브 앱에서 데이터를 추출.
• AI 연구자: 실제 모바일 환경과 상호작용할 수 있는 에이전트를 개발.

주요 특징

• 크로스 플랫폼: Android 및 iOS 장치 모두를 지원합니다.
• 비전 모드: 접근성 트리 데이터가 부족한 앱에 대해 스크린샷을 사용할 수 있습니다.
• 이해 모드: 복잡한 다단계 계획을 위해 매니저-실행자 패턴을 사용합니다.
• 확장성: 사용자 정의 도구, 구조화된 출력, 앱별 가이드 카드를 추가할 수 있습니다.
• 관측성: 실행 추적을 위해 Arize Phoenix 및 Langfuse와 통합됩니다.