CursorTouch/Android-MCP

해결하는 문제

Android-MCP는 AI 에이전트가 Android 기기와 직접 상호작용할 수 있도록 하는 브리지를 제공합니다. 복잡한 컴퓨터 비전 파이프라인이나 미리 프로그래밍된 스크립트가 필요 없으며, LLM이 자연어를 사용하여 앱 탐색, UI 상호작용, 자동화된 QA 테스트와 같은 실제 모바일 작업을 수행할 수 있게 합니다.

작동 원리

이 프로젝트는 Model Context Protocol (MCP) 서버로 작동합니다. ADB (Android Debug Bridge) 및 Android Accessibility API를 통해 Android 기기와 통합되어 뷰 계층 구조를 읽고 작업을 실행합니다. 네이티브 UI 요소와 상호작용하기 때문에 별도의 OCR이나 미세 조정된 CV 모델 없이도 모든 LLM 또는 Vision Language Model (VLM)과 함께 사용할 수 있습니다.

대상 사용자

이 도구는 AI 에이전트를 사용하여 Android 모바일 상호작용을 자동화하려는 개발자 및 QA 엔지니어, 그리고 모바일 플랫폼에서 체화된 지능(embodied intelligence)을 연구하는 연구자를 위해 설계되었습니다.

주요 특징

• 네이티브 통합: ADB 및 Accessibility API를 사용하여 탭, 스와이프, 입력 및 UI 계층 구조 읽기를 수행합니다.
• 모델 독립성: 모든 LLM/VLM과 호환되며, 사용자 지정 CV 또는 OCR 파이프라인이 필요하지 않습니다.
• 포괄적인 도구 세트: 제스처, 키 입력, 화면 캡처, 기기 상태 모니터링 및 셸 명령 실행을 위한 전용 도구가 포함되어 있습니다.
• 유연한 연결성: 물리적 기기 및 에뮬레이터(Android 10 이상)를 위한 USB 및 WiFi ADB 연결을 모두 지원합니다.