Tongyi-MAI/MAI-UI

무엇을 해결하는가

Qwen-UI-Agent (MAI-UI의 진화형)는 모바일 기기, 컴퓨터, 웹 브라우저 및 DeepSearch 환경 전반에서 작동하도록 설계된 기초 GUI 에이전트입니다. 이는 서로 다른 플랫폼과 인터페이스에 걸쳐 복잡하고 장기적인 작업을 자율적으로 탐색하고 실행할 수 있는 단일 모델을 생성하여, 시뮬레이션 환경과 실제 기기 사용 사이의 간극을 메우는 문제를 해결합니다.

작동 방식

이 에이전트는 GUI 작업(클릭 등)과 CLI (Bash) 명령을 결합한 하이브리드 액션 공간을 활용하여 시각적 탐색과 직접적인 시스템 수준 실행을 모두 수행할 수 있습니다. 수천 개의 병렬 환경에서 확장 가능한 장기 온라인 강화 학습(RL)을 사용하여 학습됩니다. 능력을 향상시키기 위해, 에이전트 스스로가 작업을 구축하고, 실패를 진단하며, 반복 계획을 세우는 "AutoResearch-style" 데이터 플라이휠을 채택합니다. 또한, 하네스 레이어(harness layer)를 통해 알림과 같은 실제 신호에 기반하여 작업을 시작하는 능동적인 동작이 가능합니다.

대상 사용자

교차 플랫폼 GUI 탐색, 시스템 자동화 및 실제 기기 상호작용이 가능한 자율 에이전트를 구축하는 연구자 및 개발자.

주요 특징

• 통합 인터페이스: 단일 모델로 모바일, PC 및 웹 전반에서 작동합니다.
• 실제 기기 학습: 100대 이상의 실제 스마트폰 환경에서 학습 및 평가되었습니다.
• 하이브리드 액션 공간: GUI 클릭과 Bash 명령을 결합하며 턴당 배치 액션을 지원합니다.
• 능동적 서비스: 외부 신호(예: 항공편 취소 알림)를 기반으로 워크플로우를 트리거할 수 있습니다.
• 교차 플랫폼 워크플로우: 모바일과 컴퓨터 기기 간에 데이터를 이동하고 작업을 실행할 수 있습니다.
• 높은 성능: MobileWorld, AndroidDaily, OSWorld를 포함한 여러 벤치마크에서 최첨단(state-of-the-art) 결과를 달성했습니다.