web-infra-dev/midscene

解決的問題

Midscene.js 是一個旨在消除傳統 UI 自動化脆弱性的 GUI 代理。它不依賴於在重構時容易失效的脆弱 DOM 選擇器或可存取性樹，而是使用 AI 驅動的視覺能力，根據人類使用者所看到的介面外觀與介面互動。

工作原理

此專案使用多模態模型（如 Qwen、Gemini 和 UI-TARS）僅基於截圖執行元素定位。這使得它能夠透過自然語言指令在任何可截圖的介面中定位元素——包括 Web 瀏覽器、Android、iOS、HarmonyOS 和桌面應用程式。

適用對象

主要面向在多個平台上執行端到端（E2E）測試和 UI 自動化的開發人員與 QA 工程師。

核心亮點

• 視覺驅動：僅依賴截圖即可運作，能夠定位 <canvas>、原生應用程式和跨來源 iframe 中的元素。
• 跨平台支援：透過單一 API 支援 Web、行動裝置（iOS/Android/HarmonyOS）和桌面應用程式。
• 自然語言：使用者可用英文描述自動化步驟，無需撰寫複雜的選擇器。
• 整合能力：可與 Playwright、Puppeteer 和 Vitest 等現有工具無縫整合。