droidrun/mobilerun

解决的问题

Mobilerun 提供了一种使用自然语言命令控制 Android 和 iOS 设备的方法。它消除了手动编写移动交互脚本的需求，使 LLM 代理能够导航应用、执行多步骤工作流，并从移动界面中提取数据。

工作原理

该框架使用安装在设备上的「Portal」应用来弥合 LLM 与移动操作系统之间的差距。它结合了可访问性树（UI 状态）和截图以实现视觉理解。代理可以执行点击、滑动和输入等操作。支持多种 LLM 提供商（OpenAI、Anthropic、Gemini 等），并提供两种运行模式：用于机器控制的本地框架，以及用于托管设备的云管理服务。

适用人群

• QA 工程师：用于移动应用测试和回归检查。
• 开发者：通过 Python API 构建自定义移动自动化工作流。
• 业务用户：使用自然语言自动化重复性移动任务或从原生应用中提取数据。
• AI 研究人员：创建能够与真实世界移动环境交互的代理。

主要亮点

• 跨平台：支持 Android 和 iOS 设备。
• 视觉模式：可对缺乏可访问性树数据的应用使用截图。
• 推理模式：采用管理器-执行器模式，实现复杂多步规划。
• 可扩展性：支持自定义工具、结构化输出和应用特定引导卡。
• 可观测性：与 Arize Phoenix 和 Langfuse 集成，实现执行追踪。