minitap-ai/mobile-use

해결하는 문제

Mobile-use는 자연어를 사용하여 모바일 기기(안드로이드 및 iOS)를 자동화하는 AI 에이전트입니다. 사용자가 간단한 텍스트 명령어로 메시지 전송이나 앱 탐색과 같은 복잡한 작업을 수행할 수 있도록 하여 수동 상호작용의 필요성을 제거합니다.

작동 방식

이 시스템은 작업을 분해하고 디바이스의 사용자 인터페이스와 상호작용하기 위해 다중 에이전트 아키텍처를 사용합니다. UI 인식 기능을 갖추고 있어 접근성 트리 데이터를 활용해 앱 인터페이스를 탐색할 수 있습니다. OpenAI, Google, xAI, OpenRouter, MiniMax, Anthropic Claude 등 다양한 LLM 제공업체를 지원하며, 에이전트 노드를 구동하는 데 사용할 수 있습니다.

대상 사용자

모바일 자동화, 모바일 앱에서의 데이터 스크래핑, 모바일 OS 환경용 에이전트 프레임워크 개발에 관심이 있는 개발자 및 연구자.

주요 특징

• 자연어 제어: 네이티브 언어 명령어로 스마트폰을 제어합니다.
• UI 인식 자동화: 앱 인터페이스를 지능적으로 탐색합니다(게임에서는 제한적).
• 데이터 스크래핑: 자연어 설명을 통해 앱에서 정보를 추출하고 JSON과 같은 형식으로 구조화합니다.
• 벤치마크 성능: AndroidWorld 벤치마크에서 100% 정확도를 달성한 최초의 에이전트 프레임워크입니다.
• 크로스플랫폼 지원: 물리적 안드로이드 폰, 안드로이드 시뮬레이터, iOS 시뮬레이터(맥OS 전용)를 지원합니다.