minitap-ai/mobile-use

解决的问题

Mobile-use 是一个使用自然语言自动化移动设备（Android 和 iOS）的 AI 代理。它通过简单的文本命令，让用户能够执行发送消息或导航应用等复杂任务，从而消除手动操作的需求。

工作原理

该系统采用多代理架构，将任务分解并交互式地与设备的用户界面进行交互。它具备 UI 意识，能够利用可访问性树数据来导航应用界面。支持多种 LLM 提供商，包括 OpenAI、Google、xAI、OpenRouter、MiniMax 和 Anthropic Claude，这些均可配置为驱动代理节点。

适用人群

对移动自动化、移动应用数据抓取以及移动操作系统环境下的代理框架开发感兴趣的开发者和研究人员。

主要亮点

• 自然语言控制：通过原生语言命令控制您的手机。
• UI 意识自动化：智能导航应用界面（游戏场景有限）。
• 数据抓取：通过自然语言描述从应用中提取信息，并结构化为 JSON 等格式。
• 基准性能：首个在 AndroidWorld 基准测试中实现 100% 准确率的代理框架。
• 跨平台支持：支持物理 Android 手机、Android 模拟器以及 iOS 模拟器（仅限 macOS）。