X-PLUG/MobileAgent

解決する課題

異なるグラフィカルユーザーインターフェース（GUI）（スマートフォン、デスクトップコンピュータ、ウェブブラウザを含む）にわたる複雑なタスクの自動化という課題に対処します。これにより、AIはアプリの基盤となるAPIアクセスを必要とせずに、画面を認識し、アクションを計画し、操作を実行して、多段階の目標を達成できるようになります。

仕組み

このプロジェクトは、GUI-Owl（Qwen3-VLベース）と呼ばれるネイティブなマルチプラットフォームGUIエージェント基盤モデルのファミリーを利用しています。これらのモデルは、コアとなる知覚、グラウンディング、およびエンドツーエンドの操作機能を提供します。Mobile-Agent-v3は、GUI-Owlの上で動作するマルチエージェントフレームワークとして機能し、長期的なタスクを処理するためのプランニング、進捗管理、リフレクション、メモリなどの高レベルな機能を追加します。

対象者

ワークフローを自動化したり、バーチャルアシスタンスを提供したりするために、ソフトウェアインターフェース（PC、モバイル、ウェブ）と対話できる自律型エージェントを構築する開発者や研究者向けに設計されています。

ハイライト

• クロスプラットフォーム対応: デスクトップ、モバイル、ブラウザ環境で動作します。
• ネイティブGUIモデル: 特化した「Instruct」および「Thinking」バージョンを備えたGUI-Owlシリーズ（2Bから235Bパラメータまで）を特徴としています。
• 包括的なフレームワーク: プランニング、リフレクション、メモリ管理の機能が含まれています。
• 高度なトレーニング: 最適なパス・オーケストレーションのために、semi-online reinforcement learning (UI-S1) や trajectory-aware tool synthesis (ToolCUA) などの技術を採用しています。