web-infra-dev/midscene

解决的问题

Midscene.js 是一个旨在消除传统 UI 自动化脆弱性的 GUI 代理。它不依赖于在重构时容易失效的脆弱 DOM 选择器或可访问性树，而是使用 AI 驱动的视觉能力，根据人类用户所看到的界面外观来与界面交互。

工作原理

该项目使用多模态模型（如 Qwen、Gemini 和 UI-TARS）仅基于截图执行元素定位。这使得它能够通过自然语言指令在任何可截屏的界面中定位元素——包括 Web 浏览器、Android、iOS、HarmonyOS 和桌面应用。

适用人群

主要面向在多个平台上执行端到端（E2E）测试和 UI 自动化的开发人员和 QA 工程师。

核心亮点

• 视觉驱动：仅依赖截图即可运行，能够定位 <canvas>、原生应用和跨域 iframe 中的元素。
• 跨平台支持：通过单一 API 支持 Web、移动设备（iOS/Android/HarmonyOS）和桌面应用程序。
• 自然语言：用户可以用英文描述自动化步骤，无需编写复杂的选择器。
• 集成能力：可与 Playwright、Puppeteer 和 Vitest 等现有工具无缝集成。