HITsz-TMG/KnowAct

解决的问题

KnowAct-GUIClaw 是一款专为跨平台自动化任务而设计的个人 GUI 助手，支持桌面（macOS、Linux、Windows）、Android、iOS 和 HarmonyOS。它通过提供一个允许代理通过记忆和技能获取来学习并进化能力的框架，解决了长期 GUI 自动化挑战。

工作原理

该系统基于「知–路径–行动–反思」循环运行。它使用多模态模型感知屏幕并执行操作。框架包含自我进化机制，能够推断并验证 Android 快捷方式，从成功轨迹中提取可复用技能，并维护 GUI 记忆库和权限策略以指导未来操作。

适用人群

适用于需要跨平台自动化工具来集成多种视觉-语言模型的开发者和研究人员，支持通过 nanobot 提供的完整代理主机，或作为独立的 CLI 工具使用。

主要亮点

• 跨平台支持：支持 Android、iOS、HarmonyOS 以及主流桌面操作系统。
• 自我进化能力：可自动发现、验证并提升快捷方式至共享技能文件。
• 高性能：使用开源模型在 MobileWorld 基准测试中达到最先进水平。
• 灵活部署：可作为带 WebUI 的完整代理主机，或作为轻量级独立 CLI 工具使用。
• 可定制配置文件：提供预配置的代理配置文件，适配多种模型家族的行动格式（如 Qwen、Seed、Venus）。