droidrun/mobilerun

解決的問題

Mobilerun 提供了一種使用自然語言命令控制 Android 與 iOS 裝置的方法。它消除了手動撰寫移動互動腳本的需求，讓 LLM 代理能夠導航應用程式、執行多步驟工作流程，並從移動介面中提取資料。

工作原理

該框架使用安裝在裝置上的「Portal」應用程式來彌補 LLM 與移動作業系統之間的差距。它結合可存取性樹（UI 狀態）與螢幕截圖以實現視覺理解。代理可以執行點擊、滑動與輸入等動作。支援多種 LLM 提供者（OpenAI、Anthropic、Gemini 等），並提供兩種運作模式：用於機器控制的本地框架，以及用於主機裝置的雲端管理服務。

適用對象

• QA 工程師：用於移動應用程式測試與回歸檢查。
• 開發者：透過 Python API 建立自訂移動自動化工作流程。
• 業務使用者：使用自然語言自動化重複性的移動任務，或從原生應用程式中提取資料。
• AI 研究人員：建立能與真實世界移動環境互動的代理。

主要亮點

• 跨平台：支援 Android 與 iOS 裝置。
• 視覺模式：可對缺乏可存取性樹資料的應用程式使用螢幕截圖。
• 推理模式：採用管理器-執行器模式，實現複雜多步驟規劃。
• 可擴展性：支援自訂工具、結構化輸出與應用程式特定引導卡。
• 可觀測性：與 Arize Phoenix 和 Langfuse 集成，實現執行追蹤。