inclusionAI/UI-Venus

解決的問題

UI-Venus-2 是一個通用型基礎 GUI 代理，旨在自動化行動應用程式、網頁平台以及桌面作業系統中的互動。它解決了建立一個能夠處理多樣化環境和複雜、長程任務，同時在驗證過程中保持高精度並對「獎勵作弊」具有強大抗性的統一代理的挑戰。

運作方式

該系統作為一個閉環的感知-推理-行動代理運作。第二版的主要技術改進包括：

• 統一互動： 將行動裝置、網頁和桌面作業系統的功能整合到單一的端到端模型中。
• 基於關鍵點的驗證： 不再檢視整個螢幕，而是根據特定的視覺關鍵點來判斷任務是否完成，並使用多模型投票來減少偏差。
• 驗證增強的反思： 將經過驗證的回饋精煉並回饋到訓練中作為監督，使代理能夠從錯誤中恢復，並區分部分進展與完全完成。
• 擴展的環境： 使用由深度研究驅動的查詢生成策略，將任務基於英語和中文生態系統中的實際應用程式功能。

適用對象

• 正在構建跨平台自動化的自主 GUI 代理的開發者。
• 專注於用於作業系統和應用程式互動的多模態基礎模型的研究人員。
• 需要單一代理來導航行動裝置、網頁和桌面介面的使用者。

亮點

• 跨平台： 支援 Android（透過 ADB）、Chrome（透過專用外掛）和桌面作業系統。
• 多語言： 特別針對中文和英文應用程式生態系統進行了擴展。
• 健壯的驗證： 採用基於關鍵點的驗證和多模型投票來確保任務成功。
• 專業能力： 包含專門用於解決 CAPTCHA 任務的基準測試和能力。