Tongyi-MAI/MAI-UI
Qwen-UI-Agent: Towards Next-Generation Real-World Centric Foundation GUI Agent
解决的问题
Qwen-UI-Agent（MAI-UI的演进版）是一款专为移动设备、计算机、网页浏览器和DeepSearch环境设计的基础GUI代理。它解决了在不同平台和界面之间，构建一个能够自主导航并执行复杂、长周期任务的单一模型的难题，弥合了模拟环境与真实设备使用之间的差距。
工作原理
该代理利用混合动作空间，结合GUI操作（点击等）与CLI（Bash）命令，使其既能执行视觉导航，也能进行系统级直接执行。它通过在数千个并行环境中进行可扩展的长周期在线强化学习（RL）进行训练。为提升其能力，它采用“AutoResearch风格”的数据飞轮机制，让代理自身参与任务构建、故障诊断和迭代规划。此外，通过一个Harness层，它能够主动响应，基于现实世界的信号（如通知）启动任务。
适用人群
致力于构建具备跨平台GUI导航、系统自动化和真实设备交互能力的自主代理的研究人员和开发者。
主要亮点
- 统一接口：在单一模型中支持移动设备、PC和网页操作。
- 真实设备训练：在超过100台物理智能手机组成的实时环境中进行训练和评估。
- 混合动作空间：结合GUI点击与Bash命令，并支持每轮批量执行动作。
- 主动服务：可根据外部信号（如航班取消通知）触发工作流。
- 跨平台工作流：可在移动设备与计算机之间移动数据并执行任务。
- 高性能表现：在MobileWorld、AndroidDaily和OSWorld等多个基准测试中达到最先进水平。
相关
- Dispatch
- Dispatch
- 项目
- 项目
- 项目