tencentmusic/page-eyes-agent

해결하는 문제

PageEyes Agent는 복잡한 스크립트를 작성하는 대신 자연어를 사용하여 애플리케이션을 제어할 수 있게 함으로써 UI 자동화 및 테스트를 간소화합니다. 여러 플랫폼에 걸쳐 자동화된 UI 검사 및 테스트를 가능하게 하여, 자동화 테스트 세트를 생성하고 유지보수하는 데 필요한 수작업을 줄입니다.

작동 방식

Pydantic AI 프레임워크 기반으로 개발되어 자연어 지시를 UI 작업으로 변환합니다. 주로 두 가지 모드로 작동합니다: 가벼운 모드는 비전 언어 모델(VLM)을 사용하고, 하이브리드 모드는 전용 비전 모델(OmniParserV2)로 요소 인식을 수행하고 표준 대규모 언어 모델(LLM)로 경로 계획을 수행합니다. 이 아키텍처 덕분에 전체 VLM이 필요 없이도 작은 LLM도 복잡한 탐색 작업을 처리할 수 있습니다.

대상 사용자

크로스플랫폼 UI 자동화를 수행해야 하는 QA 엔지니어 및 테스터, 그리고 워크플로우에 AI 기반 UI 상호작용을 통합하고자 하는 개발자에게 적합합니다.

주요 특징

• 크로스플랫폼 지원: Web, Android, iOS, HarmonyOS Next, Electron 데스크톱 애플리케이션 모두 지원.
• 자연어 기반: 일반 텍스트 지시에 따라 작업을 실행하고 검증을 수행.
• 유연한 모델 통합: DeepSeek, OpenAI, Qwen 등 다양한 모델 지원.
• 세부 보고서 생성: 실행 로그와 시각적 보고서를 생성하여 테스터가 결과를 검증할 수 있도록 지원.