droidrun/mobilerun-portal
Automate your mobile devices with natural language commands - the counterpart android app for the mobilerun framework
解決的問題
Mobilerun Portal 提供了一種程式化方式來互動與分析 Android 使用者介面。它解決了擷取即時 UI 元素資料(例如可點擊或可編輯欄位)以及遠端控制裝置的困難,適用於 UI 測試、自動化開發和可及性審核等用途。
如何運作
它作為一個 Android 可及性服務運作,於螢幕上建立一個互動式覆蓋層,以突出顯示 UI 元素。它提供多種控制介面——包括 HTTP socket 伺服器、WebSocket JSON-RPC,以及可透過 ADB 存取的 ContentProvider——讓外部工具能夠查詢 UI 樹、傳送鍵盤輸入並管理裝置狀態。它還支援反向 WebSocket 連線以進行雲端控制,以及 WebRTC 用於即時螢幕串流。
適用對象
此工具專為專注於 Android UI 自動化的開發人員與 QA 工程師、可及性測試人員,以及開發遠端控制或 AI 驅動的行動代理框架的人士設計。
主要特色
- 多介面控制:支援 ADB、HTTP 和 WebSockets 進行本機存取,並支援反向 WebSocket 用於雲端控制。
- 即時 UI 分析:以 JSON 格式擷取可及性樹狀結構,識別可點擊、可捲動和可取得焦點的元素。
- 遠端裝置管理:支援從 URL 安裝 APK、剪貼簿操作,以及螢幕常亮監控器。
- 視覺反饋:包含互動式覆蓋層,可於裝置螢幕上視覺化識別 UI 元素。
- 底層互動:提供直接鍵盤輸入與鍵盤事件模擬(例如 Enter、Back、Home)。
相關
- 專案
- 專案
- 專案
- 專案
- 專案