Tongyi-MAI/MAI-UI

何を解決するか

Qwen-UI-Agent (MAI-UIの進化形) は、モバイルデバイス、コンピュータ、ウェブブラウザ、およびDeepSearch環境にわたって動作するように設計された基盤GUIエージェントです。これは、異なるプラットフォームやインターフェースにわたって、複雑で長期的なタスクを自律的にナビゲートして実行できる単一のモデルを作成するという問題を解決し、シミュレーション環境と現実世界のデバイス使用との間のギャップを埋めます。

仕組み

このエージェントは、GUI操作（クリックなど）とCLI (Bash) コマンドを組み合わせたハイブリッドアクションスペースを利用しており、視覚的なナビゲーションと直接的なシステムレベルの実行の両方を実行できます。これは、数千の並列環境にわたるスケーラブルな長期オンライン強化学習 (RL) を用いてトレーニングされています。能力を向上させるために、「AutoResearch-style」のデータフライホイールを採用しており、エージェント自身がタスクの構築、失敗の診断、および反復計画を支援します。さらに、ハーネス層により、通知などの現実世界の信号に基づいてタスクを開始するプロアクティブな動作が可能になります。

対象者

クロスプラットフォームのGUIナビゲーション、システム自動化、および現実世界のデバイスインタラクションが可能な自律型エージェントを構築している研究者や開発者。

ハイライト

• Unified Interface: モバイル、PC、およびウェブを単一のモデルで操作します。
• Real-Device Training: 100台以上の物理的なスマートフォンを使用したライブ環境でトレーニングおよび評価されています。
• Hybrid Action Space: GUIのクリックとBashコマンドを組み合わせ、ターンごとのバッチアクションをサポートしています。
• Proactive Service: 外部信号（例：フライトのキャンセル通知）に基づいてワークフローをトリガーできます。
• Cross-Platform Workflows: モバイルとコンピュータデバイス間でデータを移動し、タスクを実行できます。
• High Performance: MobileWorld、AndroidDaily、およびOSWorldを含む複数のベンチマークで、最先端の結果を達成しています。