danielealbano/android-remote-control-mcp

해결하는 문제

이 프로젝트는 AI 모델이 Android 기기를 원격으로 완전히 제어할 수 있는 방법을 제공합니다. ADB(안드로이드 디버그 브리지)를 실행하는 호스트 컴퓨터가 필요 없이, MCP 서버를 직접 스마트폰에서 실행함으로써 지연 시간을 낮추고, 인터넷을 통해 원격 액세스가 가능하며, AI와 기기 간의 토큰 효율적인 통신을 가능하게 합니다.

작동 방식

이 애플리케이션은 Ktor와 Netty를 사용하여 Android에서 Model Context Protocol(MCP) 서버로 작동합니다. 안드로이드의 접근성 서비스를 활용하여 UI 요소를 읽고, 스크린샷을 캡처하며, 탭, 입력, 스와이프와 같은 작업을 수행할 수 있습니다. 로컬 네트워크, ADB 포트 포워딩, 또는 공개 HTTPS 터널(Cloudflare/ngrok)을 통해 AI 클라이언트(Claude 또는 ChatGPT 등)에 노출할 수 있습니다. 사용자 데이터를 보호하기 위해, 데이터가 기기 외부로 나가기 전에 로컬 NER 모델을 사용해 민감 정보를 마스킹하거나 의사번호화하는 온디바이스 프라이버시 모드를 포함하고 있습니다.

대상 사용자

LLM이 모바일 애플리케이션과 안드로이드 OS와 실제 세계에서 원격으로 상호작용할 수 있도록 하고 싶은, AI 에이전트와 몸을 가진 지능(embodied intelligence)에 관심 있는 개발자 및 연구자에게 적합합니다.

주요 특징

• 온디바이스 서버: PC 연결 없이 안드로이드 기기에서 직접 실행됩니다.
• 풍부한 도구 세트: 14개 카테고리에 걸쳐 총 57개의 MCP 도구를 제공하며, 화면 인스펙션, 파일 작업, 앱 관리 등을 포함합니다.
• 프라이버시 우선: 이메일, 신용카드 등 개인정보를 기기 내에서 익명화하여 데이터가 기기 외부로 나가기 전에 보호합니다.
• 유연한 인증: 정적 베어러 토큰과 자체 완전한 OAuth 2.1 서버를 지원하여 안전한 연결을 가능하게 합니다.
• 원격 액세스: Cloudflare Quick Tunnels와 ngrok의 통합 지원으로 전 세계에서 접근 가능합니다.