droidrun/mobilerun

Automate your mobile devices with natural language commands - an LLM agnostic mobile Agent 🤖

What it solves

Mobilerun 提供了一種以自然語言指令控制 Android 與 iOS 裝置的方式。它消除了手動編寫手機互動腳本的需求，允許 LLM 代理在應用程式中導航、執行多步驟工作流程，並從手機介面中擷取資料。

How it works

此框架使用安裝在裝置上的「Portal」應用程式，作為 LLM 與行動作業系統之間的橋樑。它結合可及性樹（UI 狀態）與螢幕截圖以進行視覺理解，讓代理能點擊、滑動與輸入。使用者可透過 CLI、Python API 或 Docker 與系統互動，並可選擇多種 LLM 供應商（如 OpenAI、Anthropic、Gemini）。對於複雜任務，框架提供「推理模式」，採用 manager‑executor 規劃架構。

Who it’s for

  • QA Engineers: 用於行動應用測試與回歸檢查。
  • Developers: 透過 Python 建立自訂的行動自動化工作流程。
  • Automation Enthusiasts: 自動化重複性的行動任務或從原生應用擷取資料。
  • Non-technical Users: 透過簡單提示執行指導式的行動工作流程。

Highlights

  • Cross-Platform: 支援 Android 與 iOS 裝置。
  • Multimodal Input: 結合可及性樹與基於視覺的螢幕截圖分析。
  • Flexible Execution: 提供 CLI 以快速執行任務，亦提供 Python API 以進行更深入的整合。
  • Reasoning Mode: 支援複雜的多步驟規劃，實現高階自動化。
  • Broad Model Support: 相容於 OpenAI、Anthropic、Gemini、Ollama、DeepSeek 與 OpenRouter。