inclusionAI/UI-Venus

解決する課題

UI-Venus-2は、モバイルアプリ、Webプラットフォーム、デスクトップOSにまたがる操作を自動化するために設計された汎用基盤GUIエージェントです。多様な環境と複雑な長期タスクを高い精度と堅牢性で処理し、検証時の「リワードハッキング」に対しても耐性を保ちながら、統合的なエージェントを実現する課題に対応しています。

動作原理

このシステムは、閉ループ型の「知覚-推論-行動」エージェントとして動作します。バージョン2における主な技術的改善点は以下の通りです：

• 統合されたインタラクション: モバイル、Web、デスクトップOSの機能を単一のエンドツーエンドモデルに統合します。
• キーポイントに基づく検証: 画面全体を見るのではなく、特定の視覚的キーポイントに基づいてタスク完了を判定し、マルチモデルによる投票でバイアスを低減します。
• 検証強化された自己反省: 検証済みのフィードバックを教師信号として学習に還元することで、エージェントがエラーから回復し、部分的な進捗と完全な完了を区別できるようにします。
• スケーリングされた環境: ディープリサーチ駆動のクエリ生成戦略を用い、英語圏と中国語圏のエコシステムにおける実際のアプリケーション機能に基づいたタスクを構築します。

対象ユーザー

• クロスプラットフォーム自動化のための自律型GUIエージェントを構築する開発者。
• OSやアプリケーションとのインタラクションを目的としたマルチモーダル基盤モデルに焦点を当てる研究者。
• モバイル、Web、デスクトップのインターフェースを操作できる単一のエージェントを必要とするユーザー。

ハイライト

• クロスプラットフォーム対応: Android（ADB経由）、Chrome（専用プラグイン経由）、デスクトップOSをサポートします。
• 多言語対応: 中国語と英語のアプリケーションエコシステム向けに特化してスケーリングされています。
• 堅牢な検証: キーポイントに基づく検証とマルチモデル投票を採用し、タスクの成功を確保します。
• 特化された機能: CAPTCHAタスクの解決のための専用ベンチマークと機能を含みます。