leeguooooo/iphone-use

해결하는 문제

iphone-use를 사용하면 AI 에이전트가 실제 사용자처럼 실제 iPhone과 상호작용할 수 있습니다. 공식 API가 없거나 표준 화면 녹화가 차단된 앱에서도 에이전트가 앱을 탐색하고, 버튼을 누르고, 텍스트를 입력하고, 화면을 스와이프할 수 있습니다.

작동 방식

Mac에서 데몬이 실행되어 USB 또는 Wi-Fi를 통해 iPhone에 연결됩니다. iPhone에는 특수 XCTest runner가 설치되어 화면을 단순한 픽셀이 아닌 접근성 트리(텍스트 기반)로 읽습니다. 이를 통해 에이전트는 UI 요소를 직접 '보고' 상호작용할 수 있습니다. 이 프로젝트는 MCP (Model Context Protocol) 서버 역할을 하여 Claude Code나 Codex와 같은 AI 클라이언트가 iPhone에 명령을 보내고 작업 성공 여부에 대한 피드백을 받을 수 있도록 합니다.

대상 사용자

이 도구는 AI 에이전트를 사용하여 물리적인 iPhone에서 작업을 자동화하려는 개발자, 테스터 및 파워 유저를 위한 것입니다. 반복적인 워크플로우를 수행하거나, 자동화된 테스트를 실행하거나, 컴퓨터에서 원격으로 휴대폰을 제어해야 하는 사용자에게 특히 유용합니다.

주요 특징

• API가 없거나 화면 캡처 보호 기능이 있는 앱을 포함한 모든 앱에서 작동합니다.
• USB 및 Wi-Fi 연결을 모두 지원하여 유연성을 제공합니다.
• AI 토큰을 사용하지 않고 다단계 작업을 기록하고 재생할 수 있는 "Flows" 기능을 포함합니다.
• 브라우저나 다른 iPhone에서 휴대폰을 사용할 수 있는 실시간 원격 제어 인터페이스를 제공합니다.
• 고성능 화면 읽기 및 작업 실행을 통해 속도에 최적화되어 있습니다.
• 비밀번호와 같은 기밀 정보를 기기에 보관하고 사용자가 특정 앱에 대한 에이전트의 접근을 차단할 수 있도록 하여 개인정보 보호를 우선시합니다.