Core-Mate/OpenGUI

解決的問題

OpenGUI 提供一個框架，讓 AI 代理能在真實裝置上觀看、理解並操作 Android 應用介面。它解決了自動化複雜行動工作流程（如社群媒體管理、回歸測試、重複性遊戲任務）的難題，使代理能執行螢幕理解、任務規劃與動作執行。

工作原理

該系統採用多層編排架構，包含一個後端圖與一個 Android 客戶端。一個「計畫監督者」將目標分解為可執行步驟，然後傳遞給「執行圖」，該圖管理一個循環：取得螢幕截圖，使用視覺語言模型（VLM）分析 UI，透過 Android 的 AccessibilityService 執行動作。系統支援模型路由，允許將不同模型（例如，Claude Opus 用於規劃，Doubao Pro 用於視覺）分配給不同角色，以平衡效能與成本。可作為完整堆疊部署，也可作為 DeepSeek Harness 的外掛使用。

適用對象

專為需要自動化 Android 應用操作的開發者與測試人員、在行動平台進行前沿研究的研究人員，以及希望透過 Discord、Telegram 或 Feishu 等 IM 通訊管道遠端調度行動任務的使用者設計。

核心亮點

• 長時間任務支援：專為持續數小時的流程設計，內建進度追蹤與復原機制。
• 角色化模型路由：可將規劃與 VLM 執行分配給不同模型提供者，實現靈活配置。
• 遠端調度：原生支援透過 REST API 或 IM 平台（Discord、Telegram、Feishu）觸發任務，手機可保持待機狀態。
• 結構化工作流程：實作「先規劃後執行，執行後總結」的循環，確保可靠性並提供清晰結果。