X-PLUG/MobileAgent

解決的問題

它解決了跨不同圖形使用者介面 (GUI)（包括手機、桌面電腦和 Web 瀏覽器）實現複雜任務自動化的挑戰。它使 AI 無需存取應用程式的底層 API，即可感知螢幕、規劃動作並執行操作以完成多步驟目標。

工作原理

該專案利用了一系列稱為 GUI-Owl（基於 Qwen3-VL 構建）的原生多平台 GUI 智能體基礎模型。這些模型提供了核心的感知、接地（grounding）與端到端操作能力。Mobile-Agent-v3 作為 GUI-Owl 之上的多智能體框架，增加了規劃、進度管理、反思與記憶等高級功能，以處理長程任務。

適用對象

專為構建能夠與軟體介面（PC、行動裝置與 Web）互動以實現工作流自動化或提供虛擬協助的自主智能體的開發人員與研究人員設計。

亮點

• 跨平台支援：可在桌面端、行動裝置與瀏覽器環境中使用。
• 原生 GUI 模型：具備專門的 "Instruct" 與 "Thinking" 版本，GUI-Owl 系列參數範圍從 2B 到 235B。
• 全面的框架：包含規劃、反思與記憶管理能力。
• 先進的訓練：採用 semi-online reinforcement learning (UI-S1) 與 trajectory-aware tool synthesis (ToolCUA) 等技術來實現最佳路徑編排。