X-PLUG/MobileAgent

解决的问题

它解决了跨不同图形用户界面 (GUI)（包括手机、桌面计算机和 Web 浏览器）实现复杂任务自动化的挑战。它使 AI 无需访问应用程序的底层 API，即可感知屏幕、规划动作并执行操作以完成多步目标。

工作原理

该项目利用了一系列名为 GUI-Owl（基于 Qwen3-VL 构建）的原生多平台 GUI 智能体基础模型。这些模型提供了核心的感知、接地（grounding）和端到端操作能力。Mobile-Agent-v3 作为 GUI-Owl 之上的多智能体框架，增加了规划、进度管理、反思和记忆等高级功能，以处理长程任务。

适用对象

专为构建能够与软件界面（PC、移动端和 Web）交互以实现工作流自动化或提供虚拟协助的自主智能体的开发人员和研究人员设计。

亮点

• 跨平台支持：可在桌面端、移动端和浏览器环境中使用。
• 原生 GUI 模型：具备专门的 "Instruct" 和 "Thinking" 版本，GUI-Owl 系列参数范围从 2B 到 235B。
• 全面的框架：包含规划、反思和记忆管理能力。
• 先进的训练：采用 semi-online reinforcement learning (UI-S1) 和 trajectory-aware tool synthesis (ToolCUA) 等技术来实现最优路径编排。