danielealbano/android-remote-control-mcp

解決的問題

本專案提供了一種讓 AI 模型遠端且完全控制 Android 裝置的方法。透過在手機上直接執行 MCP 伺服器，無需依賴連接的電腦運行 ADB（Android Debug Bridge），從而實現更低延遲、透過網路遠端存取，以及 AI 與裝置之間更節省 token 的通訊。

工作原理

該應用程式使用 Ktor 與 Netty 在 Android 上作為 Model Context Protocol (MCP) 伺服器運作。它利用 Android 的可存取性服務來讀取 UI 元素、擷取螢幕截圖，並執行點擊、輸入、滑動等操作。可透過本地網路、ADB 埠轉送，或公開 HTTPS 隧道（Cloudflare/ngrok）向 AI 客戶端（如 Claude 或 ChatGPT）暴露服務。為保護使用者資料，專案內建設備端隱私模式，使用本地 NER 模型在資料送出至 AI 提供商前，對敏感資訊進行遮蔽或偽匿名化處理。

適用對象

對 AI 代理與具身智能（embodied intelligence）感興趣的開發者與研究人員，希望讓 LLM 能在真實、可遠端存取的環境中與行動應用程式及 Android 作業系統互動。

主要特色

• 設備端伺服器：直接在 Android 上執行，無需依賴連接的 PC。
• 豐富的工具集：涵蓋 14 個類別共 57 個 MCP 工具，包括螢幕探查、檔案操作與應用程式管理。
• 隱私優先：內建設備端匿名化功能，在資料離開裝置前隱藏電子郵件、信用卡等個人識別資訊。
• 彈性驗證：支援靜態 Bearer Token 與自包含的 OAuth 2.1 伺服器，確保連線安全。
• 遠端存取：整合支援 Cloudflare Quick Tunnels 與 ngrok，實現全球可存取。