droidrun/mobile-harness

解決的問題

Mobile Harness 提供一組標準化的操作指令與 Python API，讓 AI 代理能控制 Android 與 iOS 裝置。它彌補了 AI 代理的推理與實際在行動裝置上執行動作之間的差距，無論裝置是本地連接還是託管於雲端皆可支援。

工作原理

它作為一個精簡的 Markdown 指令集與控制程式庫（mobilerun_core）運作。代理透過各種後端（Android 的 ADB、iOS 與 Android 的 HTTP 通路、或雲端服務）使用 Python API 連接裝置。連接後，代理可使用高階輔助工具在可存取性樹中尋找 UI 元素、點選節點、輸入文字、捲動畫面，並截取螢幕畫面。它也包含一組結構化的 Markdown 指南（如 AGENTS.md 和平台特定指南），可根據目前的任務或平台，將代理導向正確的指示。

適用對象

此工具專為需要在真實 Android 與 iOS 硬體上執行任務自動化、測試或與行動應用程式互動的 AI 代理開發者所設計。

主要特色

• 跨平台支援：支援 Android 與 iOS。
• 彈性連接方式：支援本地 ADB、本地 HTTP 通路與雲端裝置存取。
• 基於可存取性的互動：使用裝置的可存取性樹，透過 find_nodes 與 tap_node 尋找並操作 UI 元素。
• 以代理為導向的文件：包含一套專為 AI 代理在執行時閱讀與遵循而設計的 Markdown 指南系統。
• Web 整合：可在雲端裝置的前景 Chrome 標籤中執行 JavaScript。