droidrun/mobilerun

Automate your mobile devices with natural language commands - an LLM agnostic mobile Agent 🤖

What it solves

Mobilerun 提供了一种使用自然语言指令控制 Android 和 iOS 设备的方式。它消除了手动编写移动交互脚本的需求，允许 LLM 代理在应用中导航、执行多步骤工作流，并从移动界面中提取数据。

How it works

该框架使用安装在设备上的“Portal”应用程序，作为 LLM 与移动操作系统之间的桥梁。它结合可访问性树（UI 状态）和截图进行视觉理解，使代理能够点击、滑动和输入。用户可以通过 CLI、Python API 或 Docker 与系统交互，并可选择多种 LLM 提供商（如 OpenAI、Anthropic、Gemini）。对于复杂任务，它提供“推理模式”，采用 manager‑executor 规划架构。

Who it’s for

  • QA Engineers: 用于移动应用测试和回归检查。
  • Developers: 通过 Python 构建自定义移动自动化工作流。
  • Automation Enthusiasts: 自动化重复的移动任务或从原生应用提取数据。
  • Non-technical Users: 通过简单提示执行引导式移动工作流。

Highlights

  • Cross-Platform: 支持 Android 与 iOS 设备。
  • Multimodal Input: 结合可访问性树与基于视觉的截图分析。
  • Flexible Execution: 提供 CLI 进行快速任务，也提供 Python API 进行更深度集成。
  • Reasoning Mode: 支持复杂的多步骤规划，实现高级自动化。
  • Broad Model Support: 兼容 OpenAI、Anthropic、Gemini、Ollama、DeepSeek 与 OpenRouter。