Core-Mate/OpenGUI

解决的问题

OpenGUI 提供了一个框架，使 AI 代理能够在真实设备上查看、理解并操作 Android 应用界面。它解决了自动化复杂移动工作流（如社交媒体管理、回归测试、重复性游戏任务）的难题，使代理能够执行屏幕理解、任务规划和动作执行。

工作原理

该系统采用多层编排架构，包含一个后端图和一个 Android 客户端。一个「计划监督者」将目标分解为可执行步骤，然后传递给「执行图」，该图管理一个循环：获取屏幕截图，使用视觉语言模型（VLM）分析 UI，通过 Android 的 AccessibilityService 执行动作。系统支持模型路由，允许将不同模型（例如，Claude Opus 用于规划，Doubao Pro 用于视觉）分配给不同角色，以平衡性能与成本。它可以作为完整堆栈部署，也可作为 DeepSeek Harness 的插件使用。

适用人群

专为需要自动化 Android 应用操作的开发者和测试人员、在移动平台进行前沿研究的研究人员，以及希望通过 Discord、Telegram 或 Feishu 等 IM 通道远程调度移动任务的用户设计。

核心亮点

• 长时任务支持：专为持续数小时的流程设计，内置进度追踪与恢复机制。
• 角色化模型路由：可将规划与 VLM 执行分配给不同模型提供商，实现灵活配置。
• 远程调度：原生支持通过 REST API 或 IM 平台（Discord、Telegram、Feishu）触发任务，手机可保持待机状态。
• 结构化工作流：实现「先规划后执行，执行后总结」的循环，确保可靠性并提供清晰结果。