web-infra-dev/midscene

해결하는 문제

Midscene.js는 전통적인 UI 자동화의 취약성을 제거하기 위해 설계된 GUI 에이전트입니다. 리팩터링 시 깨지기 쉬운 DOM 선택자나 접근성 트리에 의존하지 않고, AI 기반의 시각 인식을 통해 인간 사용자가 보는 방식으로 인터페이스와 상호작용합니다.

작동 방식

이 프로젝트는 Qwen, Gemini, UI-TARS와 같은 다중 모달 모델을 사용하여 스크린샷만으로 요소 위치를 식별합니다. 이를 통해 웹 브라우저, 안드로이드, iOS, HarmonyOS, 데스크톱 앱 등 스크린샷을 찍을 수 있는 모든 환경에서 자연어 지시를 사용해 요소를 대상으로 할 수 있습니다.

대상 사용자

주로 여러 플랫폼에서 엔드투엔드(E2E) 테스트 및 UI 자동화를 수행하는 개발자와 QA 엔지니어를 위한 제품입니다.

주요 특징

• 시각 기반: 스크린샷만으로 작동하여 <canvas> 요소, 네이티브 앱, 크로스 오리진 iframe 내 요소까지 대상으로 할 수 있습니다.
• 크로스 플랫폼: 단일 API로 웹, 모바일(iOS/Android/HarmonyOS), 데스크톱 앱을 모두 지원합니다.
• 자연어 인식: 복잡한 선택자 작성 대신 영어로 간단한 자동화 단계를 설명할 수 있습니다.
• 통합 가능성: Playwright, Puppeteer, Vitest와 같은 기존 도구와 통합 가능합니다.