xinzezhu/Open-AutoGLM-Android

해결하는 문제

이 프로젝트는 자연어 명령어를 사용하여 스마트폰 작업을 자동화하는 방법을 제공합니다. 컴퓨터나 ADB(안드로이드 디버그 브리지)가 필요 없으며, 안드로이드의 접근성 서비스를 활용해 디바이스 내에서 직접 작업을 수행합니다.

작동 방식

앱은 AutoGLM 또는 알리바바의 GUI-plus와 같은 비전 언어 모델(VLM)을 사용하여 화면 내용을 분석하고 작업을 계획합니다. 현재 화면의 스크린샷을 캡처한 후 API를 통해 AI 모델에 전송하고, 그 결과로 생성된 명령어(예: 탭, 스와이프, 입력 등)를 안드로이드 접근성 서비스 API를 통해 실행합니다.

대상 사용자

다양한 앱에서 반복 작업을 간단한 텍스트 지시어로 자동화하고 싶은 안드로이드 사용자, 그리고 모바일 장치 자동화에 VLM을 통합하고자 하는 개발자.

주요 특징

• ADB 필요 없음: 접근성 서비스를 통해 완전히 디바이스 내에서 작동.
• 자연어 제어: 사용자는 평문으로 작업을 설명할 수 있습니다 (예: "웨이신을 열고 장산에게 메시지를 보내").
• 다단계 작업: 대화형 상호작용을 지원하고, 컨텍스트를 기억하여 복잡한 워크플로우를 완료할 수 있음.
• VLM 통합: 지푸 AI의 AutoGLM 및 알리바바의 GUI-plus 모델과 호환.
• 포괄적인 액션 세트: 앱 실행, 탭, 입력, 스와이프, 긴 탭, 더블 탭을 지원.