droidrun/mobilerun

해결하는 문제

Mobilerun은 AI를 사용하여 모바일 기기를 자동화하는 과제를 해결합니다. 개발자는 자연어를 통해 Android 및 iOS 기기를 제어할 수 있으며, 에이전트가 수동 개입 없이 앱 탐색, 텍스트 입력, 데이터 추출과 같은 작업을 수행할 수 있도록 합니다.

작동 방식

이 프레임워크는 LLM과 물리적 또는 가상 모바일 기기 사이의 가교 역할을 합니다. 기기에 'Portal' 앱을 설치하면 프레임워크가 화면을 검사하고 UI 구조를 읽으며 탭이나 스와이프와 같은 동작을 실행할 수 있게 됩니다. 사용자는 명령줄 인터페이스 (CLI) 또는 Python API를 통해 이러한 동작을 트리거할 수 있으며, OpenAI, Anthropic 및 Ollama를 통한 로컬 모델을 포함한 다양한 LLM 제공업체를 지원합니다.

대상 사용자

이 도구는 모바일 앱 테스트 자동화, 반복적인 모바일 작업 수행 또는 네이티브 모바일 환경과 상호 작용할 수 있는 AI 에이전트를 구축해야 하는 개발자 및 QA 엔지니어를 위해 설계되었습니다.

주요 특징

• 자연어 명령을 사용하여 Android 및 iOS 기기 제어.
• 직접적인 작업 실행 및 복잡한 다단계 추론 모드 모두 지원.
• 주요 LLM 제공업체 및 로컬 모델과 호환.
• CLI, Python API 또는 Docker 컨테이너를 통한 유연한 통합 제공.
• 스크린샷과 접근성 데이터를 결합하여 시각 기반 이해 제공.
• Langfuse와 같은 도구를 통한 실행 추적 및 원격 측정 기능 내장 지원.