OpenGUI is an Android GUI agent framework for phone-use AI that can see, plan, and operate real mobile apps through the GUI.

OpenGUI – 모바일 GUI 에이전트 프레임워크

기능 설명 (쉬운 언어)

OpenGUI는 대규모 언어 모델 기반의 AI 에이전트가 Android 휴대폰 화면을 "보고", 내용을 이해하며, 기기에서 "작업"(탭, 스와이프, 입력, 앱 열기 등)을 수행할 수 있게 합니다. 이는 연결된 휴대폰의 실제 스크린샷을 사용하고, 이미지와 자연어 지시사항을 이미지 처리가 가능한 모델에 전송하여 수행됩니다. 모델이 수행할 UI 작업을 결정하면 OpenGUI가 Android의 접근성 서비스를 통해 이를 실행합니다.

대상 사용자

AI 에이전트 개발자: 봇에게 실제 Android 앱을 제어할 수 있는 능력(테스트, 자동화, 콘텐츠 제작)을 부여하려는 분.
제품 테스터: UI 수준의 테스트를 실행하고 재현 가능한 스크린샷을 캡처할 수 있는 스크립트 가능한 방법이 필요한 분.
WorkBuddy 또는 DeepSeek Harness 플랫폼의 파워 유저: 전체 백엔드를 실행하지 않고도 휴대폰 제어 기능을 추가하는 플러그인을 찾는 분.

주요 구성 요소

구성 요소	역할
WorkBuddy / DeepSeek Harness 플러그인	채팅 UI에서 `/opengui …` 명령을 노출하는 경량 호스트 측 런타임. 플러그인 설치, 승인 및 사용자 프롬프트를 백엔드로 전달하는 역할을 합니다.
풀스택 백엔드 (선택 사항)	TypeScript/Node로 작성된 그래프 기반 작업 실행기. 요청을 받아 비전 언어 모델(Claude, GPT, Gemini 등)로 라우팅하고, 계획을 수립하며, Android 클라이언트로 작업을 스트리밍합니다.
Android 클라이언트	휴대폰에서 실행되는 소형 앱(Android 11 이상). ADB/scrcpy를 통해 스크린샷을 제공하고, WebSocket을 통해 작업 명령(탭, 스와이프, 입력)을 수신하며, AccessibilityService를 사용하여 실행합니다.
CLI (`pnpm opengui …`)	채팅 플러그인 대신 스크립트를 선호하는 개발자를 위한 직접적인 명령줄 인터페이스.
IM 채널 어댑터	채팅 서비스에서 작업을 트리거할 수 있는 선택적 Discord/Telegram/Feishu 게이트웨이.

사용 방법

호스트 플러그인 설치 – macOS에서 curl … | bash 명령을 한 줄 실행(WorkBuddy)하거나 DeepSeek Harness 설치 프롬프트를 따릅니다.
휴대폰 연결 – USB 디버깅을 활성화하고 연결한 뒤, Android 앱에 필요한 접근성/오버레이 권한을 부여합니다.
자연어 명령 전송 – 예: /opengui Open Settings and report the Android version.
플러그인이 프롬프트를 백엔드로 전달하면, 백엔드가 비전 모델에게 현재 화면을 확인하게 하고 다음 UI 작업을 결정하여 Android 클라이언트로 전송합니다.
휴대폰이 작업을 실행합니다. 모델은 반복 작업을 수행하고 스크린샷을 찍으며, 최종적으로 요약이나 문제 보고서를 반환할 수 있습니다.

현재 가능한 작업

기본 휴대폰 탐색 – 앱 열기, 버튼 탭, 스와이프, 텍스트 입력, 뒤로 가기.
앱 테스트 – 설명된 워크플로우 실행, 단계 및 스크린샷 캡처, 버그 보고서 생성.
콘텐츠 제작 – 기기에서 직접 양식 작성, 소셜 미디어 게시물 초안 작성(예: TikTok 초안).
시각적 실행 – WorkBuddy 워크벤치에서 휴대폰 화면을 보면서 작업에 개입하거나 중지할 수 있습니다.
통합 지점 – Discord, Feishu, Telegram 또는 원격 디스패치를 위한 범용 REST API.

불가능한 작업 (제한 사항)

비전 지원 모델(이미지 입력 + 도구 호출)이 필요합니다. 텍스트 전용 모델을 사용하면 에이전트가 화면을 해석할 수 없습니다.
DeepSeek Harness 세션당 하나의 OpenGUI 작업만 가능합니다. 동시 작업에는 별도의 세션이 필요합니다.
실제 신뢰성은 기기 OEM의 특성, 화면 레이아웃, 네트워크 지연 시간에 따라 다릅니다.
전체 백엔드(그래프 에이전트, Redis/PostgreSQL 등)는 선택 사항이지만, 고급 라우팅, 다단계 계획 및 영구적인 작업 ID를 위해서는 필요합니다.

빠른 시작 (WorkBuddy 예시)

cd "$HOME" && curl -fsSL https://raw.githubusercontent.com/Core-Mate/OpenGUI/main/workbuddy-plugin/install.sh | bash
# WorkBuddy를 재시작한 후 채팅창에 입력:
/opengui Prepare a TikTok draft about "AI safety" – stop before publishing.

플러그인은 다음을 수행합니다:

개인용 Node 런타임 설치.
OpenGUI 기술 및 커넥터 등록.
휴대폰 승인 요청.
명령 실행 및 스크린샷이 포함된 초안 반환.

추가 정보 확인

설치 및 문제 해결 – workbuddy-plugin/INSTALL.md 및 deepseek-harness-plugin/README.md
풀스택 배포 – docs/get-started.md
CLI 참조 – docs/codex-remote-control.md
시스템 다이어그램 – README의 Mermaid 순서도는 채팅 → 모델 → 실행기 → Android 클라이언트로 이어지는 데이터 경로를 보여줍니다.

라이선스 및 상업적 참고 사항

코드는 Business Source License 1.1에 따라 릴리스되며 비상업적 용도로 사용할 수 있습니다. 상업적 배포를 위해서는 Core-Mate로부터 별도의 상업용 라이선스가 필요합니다(변경일 2030-04-29에 Apache 2.0으로 변경됨).

위의 모든 세부 정보는 저장소의 README에서 직접 가져온 것이며, 외부적인 가정은 추가되지 않았습니다.

Core-Mate/OpenGUI