tencentmusic/page-eyes-agent

解决的问题

PageEyes Agent 通过允许用户使用自然语言而非编写复杂脚本控制应用程序，简化了 UI 自动化和测试。它支持跨多个平台的自动化 UI 检查和测试，减少了创建和维护自动化测试套件所需的手动工作量。

工作原理

基于 Pydantic AI 框架构建，该代理将自然语言指令转换为 UI 操作。它可以在两种主要模式下运行：一种是使用视觉语言模型（VLM）的轻量级模式，另一种是结合专用视觉模型（OmniParserV2）进行元素感知与标准大型语言模型（LLM）进行路径规划的混合模式。这种架构使得即使较小的 LLM 也能处理复杂的导航任务，而无需在每一步都依赖完整的 VLM。

适用人群

专为需要执行跨平台 UI 自动化的 QA 工程师和测试人员设计，也适用于希望将 AI 驱动的 UI 交互集成到工作流中的开发者。

核心亮点

• 跨平台支持：支持 Web、Android、iOS、HarmonyOS Next 以及 Electron 桌面应用程序。
• 自然语言驱动：基于纯文本指令执行任务并进行断言。
• 灵活的模型集成：支持 DeepSeek、OpenAI 和 Qwen 等多种模型。
• 详细报告生成：生成执行日志和可视化报告，帮助测试人员验证结果。