OpenGUI is an Android GUI agent framework for phone-use AI that can see, plan, and operate real mobile apps through the GUI.

OpenGUI – 移动 GUI 代理框架

它的功能（白话文）

OpenGUI 让基于大型语言模型的 AI 代理能够“看见”Android 手机屏幕、理解屏幕内容，并对设备进行“操作”——例如点击、滑动、输入文字、打开应用程序等。它通过连接手机的实时屏幕截图，将图像与自然语言指令发送给具备图像处理能力的模型来达成。模型决定要执行哪些 UI 操作，而 OpenGUI 则通过 Android 的无障碍服务执行这些指令。

适用对象

AI 代理开发者：希望让机器人具备控制真实 Android 应用程序能力的人（用于测试、自动化、内容创作）。
产品测试人员：需要通过脚本执行 UI 层级测试并截取可重现屏幕截图的人。
WorkBuddy 或 DeepSeek Harness 平台进阶使用者：希望在不执行完整后端的情况下，通过插件增加手机控制功能的人。

主要组件

组件	角色
WorkBuddy / DeepSeek Harness 插件	轻量级主机端执行环境，在聊天界面中提供 `/opengui …` 指令。负责安装插件、授权并将用户提示转发至后端。
全栈后端（选配）	使用 TypeScript/Node 编写的图形化任务执行器。接收请求、将其路由至视觉语言模型（Claude, GPT, Gemini 等）、建立计划并将操作流式传输至 Android 客户端。
Android 客户端	执行于手机上的小型应用程序（Android 11+）。通过 ADB/scrcpy 提供屏幕截图，通过 WebSocket 接收操作指令（点击、滑动、输入），并使用 AccessibilityService 执行这些指令。
CLI (`pnpm opengui …`)	为偏好脚本编写而非聊天插件的开发者提供的直接命令行界面。
IM 通道转接器	可选的 Discord/Telegram/Feishu 网关，让您能从聊天服务触发任务。

如何使用

安装主机插件 – 在 macOS 上执行一行 curl … | bash 指令（WorkBuddy）或依照 DeepSeek Harness 的安装提示操作。
连接手机 – 启用 USB 调试、插入手机，并授予 Android 应用程序所需的无障碍/悬浮窗权限。
发送自然语言指令 – 例如 /opengui Open Settings and report the Android version。
插件将提示转发至后端，后端要求视觉模型查看当前屏幕、决定下一个 UI 操作，并将其传回 Android 客户端。
手机执行操作；模型可以进行迭代、截图，最后回传摘要或一系列问题报告。

目前支持的功能

基本手机导航 – 打开应用程序、点击按钮、滑动、输入文字、返回。
应用程序测试 – 执行描述的工作流程、截取步骤与屏幕截图，并产生错误报告。
内容创作 – 直接在设备上填写表单、草拟社交媒体贴文（例如 TikTok 草稿）。
可视化执行 – 您可以在 WorkBuddy 工作台中观看手机屏幕，并介入或停止任务。
整合点 – Discord, Feishu, Telegram 或用于远程调度的通用 REST API。

目前无法做到的事（限制）

需要具备视觉能力的模型（图像输入 + 工具调用）。若使用纯文本模型，代理无法解读屏幕。
每个 DeepSeek Harness 工作阶段仅限一个 OpenGUI 任务；并发任务需要分开的工作阶段。
真实世界的可靠性会因设备 OEM 特性、屏幕布局与网络延迟而异。
完整后端（图形代理、Redis/PostgreSQL 等）为选配，但对于进阶路由、多步骤规划与持久化任务 ID 是必要的。

快速入门（WorkBuddy 示例）

cd "$HOME" && curl -fsSL https://raw.githubusercontent.com/Core-Mate/OpenGUI/main/workbuddy-plugin/install.sh | bash
# 重启 WorkBuddy，然后在聊天中输入：
/opengui Prepare a TikTok draft about "AI safety" – stop before publishing.

插件将会：

安装私有的 Node 执行环境。
注册 OpenGUI 技能与连接器。
要求您授权手机。
执行指令并回传带有屏幕截图的草稿。

授权与商业说明

代码依据 Business Source License 1.1 发布，允许非生产环境使用。生产或商业部署需要向 Core-Mate 取得单独的商业授权（变更日期为 2030-04-29，届时将变更为 Apache 2.0）。

以上所有细节均直接取自仓库的 README；未添加任何外部假设。

Core-Mate/OpenGUI