HKUDS/PhoneCLI

해결하는 문제

PhoneCLI는 스크린샷과 시각 언어 모델(VLM) 호출을 지속적으로 반복하는 기존 GUI 에이전트의 비효율성, 비용, 취약성 문제를 해결합니다. 반복적인 내비게이션을 추론 문제가 아닌 결정론적 프로세스로 처리함으로써 지연 시간을 단축(초 단위에서 밀리초 단위로)하고, API 비용을 절감하며, 모바일 기기에서의 작업 성공률을 높입니다.

작동 원리

PhoneCLI는 모바일 작업을 처리하기 위해 3단계 실행 전략을 사용합니다:

1. 오프라인 컴파일 (Offline Compilation): BFS 크롤러가 앱 인터페이스를 탐색하여 화면, 상호작용 요소, 내비게이션 경로를 기록한 "앱 맵"(YAML 파일)을 생성합니다. 이를 통해 복잡한 GUI 내비게이션이 호출 가능한 결정론적 명령어 세트로 변환됩니다.
2. 온라인 실행 (Online Execution): 작업이 요청되면 시스템은 먼저 컴파일된 CLI 명령어를 사용하여 내비게이션을 시도하며, 모델 비용을 발생시키지 않습니다. 명령어가 실패하거나 새로운 작업인 경우, 온디바이스 모델로 폴백(fallback)하고 최종적으로 클라우드 기반 VLM을 사용합니다.
3. 온디바이스 최적화 (On-Device Optimization): 모바일 하드웨어 제약(GPU/NPU 메모리)에 맞게 설계된 특수 3B 파라미터 모델(OpenPhone)을 활용하여 로컬에서 추론과 검증을 처리함으로써 개인정보 보호와 속도를 보장합니다.

대상 사용자

비싼 클라우드 API에 전적으로 의존하지 않고 Android 및 iOS 기기에서 안정적이고 효율적으로 작동해야 하는 모바일 AI 에이전트를 구축하는 개발자와 연구자를 위해 설계되었습니다.

주요 특징

• 하이브리드 실행 (Hybrid Execution): 결정론적 CLI 스타일의 리플레이와 VLM 추론을 결합하여 클라우드 호출을 줄이고 성공률을 높입니다.
• 앱 매핑 (App Mapping): 앱의 내비게이션 그래프를 사전 계산하여 일상적인 작업을 밀리초 단위로 실행할 수 있습니다.
• 온디바이스 우선 (On-Device First): 로컬 실행(CLI $\rightarrow$ Device Model $\rightarrow$ Cloud)을 우선시하여 지연 시간을 최소화하고 개인정보 보호를 극대화합니다.
• OpenPhone-3B: SFT 및 RL(GRPO)을 통해 GUI 작업에 최적화된 오픈 웨이트 3B 모델이 포함되어 있습니다.
• 크로스 플랫폼 (Cross-Platform): iOS(WebDriverAgent 사용)와 Android(ADB/AndroidLab 사용)를 모두 지원합니다.