inclusionAI/UI-Venus

해결하는 문제

UI-Venus-2는 모바일 앱, 웹 플랫폼, 데스크톱 운영 체제 전반의 상호작용을 자동화하도록 설계된 범용 기반 GUI 에이전트입니다. 다양한 환경과 복잡한 장기 작업을 처리하면서도 검증 과정에서 "리워드 해킹"에 대한 높은 정확도와 견고성을 유지하는 통합 에이전트를 구축하는 문제를 해결합니다.

작동 방식

이 시스템은 폐쇄 루프 형태의 지각-추론-행동 에이전트로 작동합니다. 2버전의 주요 기술적 개선 사항은 다음과 같습니다:

• 통합 상호작용: 모바일, 웹, 데스크톱 OS 기능을 단일 엔드투엔드 모델로 통합합니다.
• 키포인트 기반 검증: 전체 화면을 보는 대신, 특정 시각적 키포인트를 기반으로 작업 완료를 판단하며 편향을 줄이기 위해 다중 모델 투표를 사용합니다.
• 검증 증강 반성: 검증된 피드백을 학습 감독 신호로 되돌려 에이전트가 오류에서 회복하고 부분적 진행과 완전한 완료를 구별할 수 있도록 합니다.
• 확장된 환경: 딥 리서치 기반 쿼리 생성 전략을 사용하여 영어 및 중국어 생태계에서 실제 애플리케이션 기능에 기반한 작업을 구축합니다.

대상 사용자

• 크로스 플랫폼 자동화를 위한 자율 GUI 에이전트를 구축하는 개발자.
• 운영 체제 및 애플리케이션 상호작용을 위한 멀티모달 기반 모델에 집중하는 연구자.
• 모바일, 웹, 데스크톱 인터페이스를 탐색할 수 있는 단일 에이전트가 필요한 사용자.

주요 특징

• 크로스 플랫폼: ADB를 통한 Android, 전용 플러그인을 통한 Chrome, 데스크톱 OS를 지원합니다.
• 다국어: 중국어 및 영어 애플리케이션 생태계를 위해 특별히 확장되었습니다.
• 견고한 검증: 작업 성공을 보장하기 위해 키포인트 기반 검증과 다중 모델 투표를 활용합니다.
• 전용 기능: CAPTCHA 작업 해결을 위한 전용 벤치마크 및 기능을 포함합니다.