suyiiyii/AutoGLM-GUI

AutoGLM‑GUI – AI 기반 Android 자동화 작업장

무엇인가요

• 대규모 언어 모델(OpenAI 호환 엔드포인트)이 ADB를 통해 하나 이상의 Android 장치(실기 또는 에뮬레이터)를 제어할 수 있는 데스크톱/웹 애플리케이션입니다.
• 채팅 스타일 인터페이스, 작업 스케줄링, 워크플로 저장, Docker/독립형 바이너리 기능을 통해 어시스턴트를 24시간 동안 실행할 수 있습니다.

주요 기능

기능	제공되는 기능
레이어드 에이전트 모드	두 단계 아키텍처 – 계획용 LLM이 요청을 단계로 분해하고, 실행용 시각 모델(AutoGLM‑Phone)이 UI 작업을 수행합니다.
cron 스타일 스케줄 작업	매일 로그인, 가격 확인 등 반복 작업을 정의해 AI가 자동으로 실행합니다.
다중 장치 관리	여러 Android 장치(USB 또는 Wi‑Fi)를 동시에 연결 가능; 각 장치는 별도의 채팅 기록과 화면 미리보기를 갖습니다.
실시간 화면 미리보기	scrcpy를 통해 저지연 영상 제공; 미리보기에서 직접 클릭/드래그하여 수동 조작도 가능합니다.
Docker 및 포터블 바이너리	미리 빌드된 Docker 이미지와 Windows EXE / macOS DMG / Linux AppImage / deb / tar.gz로 "어디서나 실행" 가능합니다.
대화 기록	모든 채팅, AI 추론 단계, 스크린샷, 로그는 로컬(SQLite)에 저장되며 UI에서 확인 가능합니다.
MCP 통합	Model Context Protocol 서버를 노출하여 다른 AI 도구(Claude Desktop, Cursor, Cline 등)가 list_devices() 및 chat(device_id, message)를 호출해 해당 환경에서 전화를 자동화할 수 있습니다.
즉시 중단	실행 중인 작업을 1초 미만으로 중단 가능하여 AI가 잘못된 방향으로 가는 경우 유용합니다.
제로 구성 설정	포함된 데스크톱 버전에는 Python, ADB, 필요한 라이브러리가 포함되어 있으며, 단지 LLM 엔드포인트와 API 키만 지정하면 됩니다.

시작 방법

1. 데스크톱 바이너리 – Windows, macOS(Apple Silicon) 또는 Linux용 적절한 패키지를 다운로드하여 실행하세요. 첫 실행 시 LLM 기준 URL, 모델 이름, API 키(예: Zhipu BigModel, ModelScope, 또는 자체 호스팅 vLLM 엔드포인트)를 입력합니다.
2. Python 패키지 – pip install autoglm-gui 후 autoglm-gui --base-url <url> --model <name> --apikey <key>를 실행합니다.
3. Docker – docker run -d --network host -v autoglm_config:/root/.config/autoglm ghcr.io/suyiiyii/autoglm-gui:main (또는 제공된 docker-compose.yml 사용). 컨테이너는 포트 8000에서 웹 UI를 실행하며, http://localhost:8000을 열어 사용합니다.

일반적인 워크플로우

• 개인 보조자 – "Meituan에서 차 한 잔 주문해줘"라고 입력하고 AI가 앱을 탐색하고 폼을 채우며 주문을 완료하는 모습을 관찰합니다.
• 스케줄된 자동화 – 매일 아침 레벨업 앱에 로그인하고 주문 상태를 확인한 후 알림을 보내는 cron 작업을 생성합니다.
• 배치 장치 관리 – 여러 핸드폰을 연결하고 각각에 다른 워크플로우(가격 모니터링, 소셜미디어 게시, 게임 일일 퀘스트)를 할당합니다.
• 모바일 앱의 CI/CD – 에뮬레이터 버전을 실행하고 AI가 UI 테스트를 수행하며 스크린샷과 결과를 자동으로 기록합니다.
• MCP 기반 도구 – Claude Desktop에서 chat(device_id, "위챗 열고 메시지 보내기...")를 호출해 채팅 인터페이스를 떠나지 않고도 AI가 핸드폰에서 동작하게 할 수 있습니다.

왜 중요한가요 AutoGLM‑GUI는 일반적인 LLM을 구체적인 Android 자동화 에이전트로 전환하여 화면 캡처, 좌표 변환, ADB 통신 등의 무거운 작업을 처리합니다. 스케줄링, 다중 장치 지원, 확장 가능한 MCP 서버를 통합함으로써 대화형 AI와 실제 세계의 모바일 작업 사이의 격차를 메우며, 개인 생산성, 소규모 RPA, 모바일 테스트 파이프라인에 실용적입니다.

라이선스 – Apache 2.0 (포함된 ADB 키보드 APK는 GPL-2.0, 메인 코드와 분리됨).