rounak/PhoneAgent

해결하는 문제

PhoneAgent는 AI 에이전트가 모바일 장치와 상호작용하고 제어할 수 있는 방법을 제공합니다. 고수준의 AI 추론과 iPhone 또는 Android 장치를 조작하기 위해 필요한 저수준 기술적 작업 사이의 격차를 메우며, 에이전트가 앱을 열고, 요소를 탭하며, 텍스트를 입력하는 등의 작업을 수행할 수 있게 합니다.

작동 방식

이 프로젝트는 주로 두 가지 모드로 작동합니다:

1. 인앱 iPhone 에이전트: OpenAI Responses API를 사용하여 프롬프트를 처리하고 디바이스에서 직접 작업을 실행하는 독립형 SwiftUI 앱입니다.
2. 외부 브리지: 외부 AI 에이전트(예: Codex 또는 OpenClaw)가 모바일 디바이스에 명령을 전송할 수 있도록 하는 JSON-RPC 서버입니다.

iOS에서는 시뮬레이터 또는 실제 장치에 대해 XCTest 호스팅 작업을 사용합니다. Android에서는 adb(Android Debug Bridge)와 UiAutomator를 결합하여 명령을 실행합니다.

대상 사용자

API 호출을 통해 iOS 및 Android 장치를 표준화된 방식으로 제어해야 하는 모바일 자동화 에이전트를 개발하는 개발자 및 AI 연구자.

주요 특징

• 크로스플랫폼 지원: iOS(시뮬레이터 및 실제 장치)와 Android(에뮬레이터 및 실제 장치) 모두에서 작동합니다.
• 통합된 RPC 표면: 두 플랫폼에 공통된 작업 세트를 제공하며, get_tree, get_screen_image, tap, scroll 등을 포함합니다.
• 음성 및 텍스트 입력: 인앱 iOS 에이전트는 키보드 입력, 마이크 지원, 사용자 정의 웨이크워드 모드를 지원합니다.
• 로컬호스트 중심의 보안: RPC 브리지가 127.0.0.1로 제한되어 장치 접근을 통제합니다.