HITsz-TMG/KnowAct

解決的問題

KnowAct-GUIClaw 是一款專為跨平台自動化任務設計的個人 GUI 助手，支援桌面（macOS、Linux、Windows）、Android、iOS 與 HarmonyOS。它透過提供一個讓代理能透過記憶與技能習得來學習並進化能力的框架，解決長期 GUI 自動化的挑戰。

工作原理

該系統基於「知–路徑–行動–反思」循環運作。它使用多模態模型感知螢幕並執行操作。框架包含自我進化機制，能夠推斷並驗證 Android 快捷方式，從成功軌跡中提取可重複使用的技能，並維護 GUI 記憶庫與權限政策，以指導未來操作。

適用對象

適用於需要跨平台自動化工具來整合各種視覺-語言模型的開發者與研究人員，支援透過 nanobot 提供的完整代理主機，或作為獨立的 CLI 工具使用。

主要亮點

• 跨平台支援：支援 Android、iOS、HarmonyOS 及主流桌面作業系統。
• 自我進化能力：可自動發現、驗證並提升快捷方式至共享技能檔案。
• 高性能量：使用開源模型在 MobileWorld 基準測試中達成最尖端水準。
• 靈活部署：可作為帶 WebUI 的完整代理主機，或作為輕量級獨立 CLI 工具使用。
• 可客製化設定檔：提供預設的代理設定檔，適配多種模型家族的行動格式（如 Qwen、Seed、Venus）。