Tongyi-MAI/MAI-UI
Qwen-UI-Agent: Towards Next-Generation Real-World Centric Foundation GUI Agent
它解決的問題
Qwen-UI-Agent（MAI-UI 的演進版本）是一個基礎 GUI 代理，設計用於在行動裝置、電腦、網路瀏覽器以及 DeepSearch 環境中運作。它解決了建立單一模型以自主導航並執行跨不同平台與介面的複雜、長遠目標任務的問題，彌補了模擬環境與真實設備使用之間的差距。
如何運作
該代理使用混合動作空間，結合 GUI 操作（點擊等）與 CLI（Bash）命令，使其既能執行視覺導航，也能進行系統層級的直接執行。它透過在數千個平行環境中進行可擴展的長遠期線上強化學習（RL）進行訓練。為了提升其能力，它採用「AutoResearch 風格」的資料飛輪機制，讓代理本身協助建立任務、診斷失敗並規劃迭代。此外，一個支援層使其能主動出擊，根據現實世界的信號（如通知）啟動任務。
適用對象
致力於開發能跨平台 GUI 導航、系統自動化及真實設備互動的自主代理的研究人員與開發者。
主要特色
- 統一介面：單一模型即可在行動裝置、個人電腦與網路環境中運作。
- 真實裝置訓練：在超過 100 台實體智慧手機的實際環境中進行訓練與評估。
- 混合動作空間：結合 GUI 點擊與 Bash 命令，並支援每回合批量動作。
- 主動服務：可根據外部信號（例如航班取消通知）觸發工作流程。
- 跨平台工作流程：能於行動裝置與電腦之間移動資料並執行任務。
- 高表現：在 MobileWorld、AndroidDaily 與 OSWorld 等多項基準測試中達成最尖端的成果。
相關
- Dispatch
- Dispatch
- 專案
- 專案
- 專案