inclusionAI/UI-Venus

解决的问题

UI-Venus-2 是一个通用基础 GUI 智能体，旨在自动化移动应用、Web 平台和桌面操作系统中的交互操作。它解决了构建统一智能体的挑战，使其能够在保持高准确性和对验证过程中“奖励作弊”具有鲁棒性的同时，处理多样化环境和复杂的长程任务。

工作原理

该系统作为一个闭环的感知-推理-行动智能体运行。版本 2 的主要技术改进包括：

• 统一交互： 将移动、Web 和桌面操作系统的能力整合到一个端到端模型中。
• 基于关键点的验证： 不再查看整个屏幕，而是基于特定的视觉关键点来判断任务完成情况，并使用多模型投票来减少偏差。
• 验证增强的反思： 将经过验证的反馈蒸馏回训练中作为监督信号，使智能体能够从错误中恢复，并区分部分进展与完全完成。
• 规模化环境： 使用由深度研究驱动的查询生成策略，将任务基于英语和中文生态系统中的真实应用功能进行落地。

适用人群

• 构建用于跨平台自动化的自主 GUI 智能体的开发者。
• 专注于用于操作系统和应用交互的多模态基础模型的研究人员。
• 需要一个能够导航移动、Web 和桌面界面的单一智能体的用户。

亮点

• 跨平台： 支持 Android（通过 ADB）、Chrome（通过专用插件）和桌面操作系统。
• 多语言： 专门针对中文和英文应用生态系统进行了规模化优化。
• 鲁棒验证： 采用基于关键点的验证和多模型投票来确保任务成功。
• 专用能力： 包含用于解决验证码任务的专用基准测试和能力。