X-PLUG/MobileAgent

해결하는 문제

모바일 폰, 데스크톱 컴퓨터, 웹 브라우저를 포함한 다양한 그래픽 사용자 인터페이스(GUI)에서 복잡한 작업을 자동화하는 문제를 해결합니다. 이를 통해 AI는 앱에 대한 기본 API 액세스 없이도 화면을 인식하고, 작업을 계획하며, 작업을 실행하여 다단계 목표를 완료할 수 있습니다.

작동 방식

이 프로젝트는 GUI-Owl(Qwen3-VL 기반)이라고 불리는 네이티브 멀티 플랫폼 GUI 에이전트 파운데이션 모델 제품군을 활용합니다. 이러한 모델은 핵심적인 인지, 그라운딩 및 엔드 투 엔드 운영 능력을 제공합니다. Mobile-Agent-v3는 GUI-Owl 상에서 멀티 에이전트 프레임워크 역할을 하며, 장기적인 작업을 처리하기 위해 계획, 진행 관리, 성찰 및 메모리와 같은 상위 수준의 기능을 추가합니다.

대상

워크플로우를 자동화하거나 가상 비서를 제공하기 위해 소프트웨어 인터페이스(PC, 모바일 및 웹)와 상호 작용할 수 있는 자율 에이전트를 구축하는 개발자와 연구자를 위해 설계되었습니다.

주요 특징

• 교차 플랫폼 지원: 데스크톱, 모바일 및 브라우저 환경에서 작동합니다.
• 네이티브 GUI 모델: 전문화된 "Instruct" 및 "Thinking" 버전을 갖춘 GUI-Owl 시리즈(2B에서 235B 파라미터까지)를 특징으로 합니다.
• 포괄적인 프레임워크: 계획, 성찰 및 메모리 관리 기능이 포함되어 있습니다.
• 고급 학습: 최적의 경로 오케스트레이션을 위해 semi-online reinforcement learning (UI-S1) 및 trajectory-aware tool synthesis (ToolCUA)와 같은 기술을 채택합니다.