Core-Mate/OpenGUI

해결하는 문제

OpenGUI는 실제 기기에서 Android 애플리케이션 인터페이스를 인식하고 조작할 수 있는 AI 에이전트를 위한 프레임워크를 제공합니다. SNS 관리, 회귀 테스트, 반복적인 게임 내 작업과 같은 복잡한 모바일 워크플로우 자동화의 어려움을 해결하며, 에이전트가 화면 이해, 작업 계획, 액션 실행을 수행할 수 있도록 합니다.

작동 방식

이 시스템은 백엔드 그래프와 안드로이드 클라이언트로 구성된 다층적 오케스트레이션 아키텍처를 사용합니다. "플랜 수퍼바이저"는 목표를 실행 가능한 단계로 분해한 후, "실행 그래프"로 전달합니다. 실행 그래프는 스크린샷 캡처, 비전 언어 모델(VLM)을 이용한 UI 분석, Android의 AccessibilityService를 통한 액션 실행의 루프를 관리합니다. 모델 라우팅 기능을 통해 다양한 모델(예: 계획에는 Claude Opus, 비전에는 Doubao Pro)을 서로 다른 역할에 할당하여 성능과 비용의 균형을 맞출 수 있습니다. 전체 스택 또는 DeepSeek Harness의 플러그인으로 배포할 수 있습니다.

대상 사용자

Android 앱 작업을 자동화해야 하는 개발자 및 테스터, 모바일 플랫폼에 대한 선도적 연구를 수행하는 연구자, Discord, Telegram, Feishu와 같은 IM 채널을 통해 원격으로 모바일 작업을 디스패치하고 싶은 사용자에게 적합합니다.

주요 특징

• 장시간 작업 지원: 수시간에 걸쳐 실행되는 워크플로우를 위한 내장된 진행 추적 및 복구 기능.
• 역할 기반 모델 라우팅: 계획과 VLM 실행을 서로 다른 모델 제공자에 분할 가능.
• 원격 디스패치: REST API 또는 IM 플랫폼(Discord, Telegram, Feishu)을 통해 작업을 트리거할 수 있으며, 휴대폰은 대기 상태로 유지 가능.
• 구조화된 워크플로우: "행동 전 계획, 실행 후 요약" 사이클을 구현하여 신뢰성 확보 및 명확한 결과 제공.