xinzezhu/Open-AutoGLM-Android

解决的问题

该项目提供了一种通过自然语言命令自动化智能手机操作的方法。它利用 Android 的无障碍服务，直接在设备上执行操作，无需计算机或 ADB（Android 调试桥）。

工作原理

该应用使用 AutoGLM 或阿里巴巴的 GUI-plus 等视觉语言模型（VLMs）分析屏幕内容并规划操作。它会捕获当前屏幕的截图，通过 API 将其发送给 AI 模型，然后通过 Android 无障碍服务 API 执行生成的命令（如点击、滑动或输入）。

适用人群

希望使用简单文本指令在不同应用间自动化重复任务的 Android 用户，以及对将 VLMs 与移动设备自动化集成感兴趣的开发者。

主要亮点

• 无需 ADB：完全通过无障碍服务在设备上运行。
• 自然语言控制：用户可以用自然语言描述任务（例如："打开微信并给张三发送消息"）。
• 多步骤任务：支持对话式交互并记忆上下文，完成复杂工作流。
• VLM 集成：兼容智谱 AI 的 AutoGLM 和阿里巴巴的 GUI-plus 模型。
• 全面的操作集：支持启动应用、点击、输入、滑动、长按和双击。