ShawnPana/phone-harness

해결하는 문제

Claude Code 또는 Codex와 같은 AI 에이전트가 물리적 스마트폰을 직접 제어할 수 있게 해줍니다. jailbreaking, Xcode, WebDriverAgent와 같은 복잡한 설정이 필요 없으며, 기존의 시스템 미러링 및 디버깅 도구를 활용해 LLM이 모바일 기기를 '보는' (시각 인식) 및 '만지는' (조작) 방법을 제공합니다.

작동 방식

이 프로젝트는 에이전트와 핸드폰 사이의 가벼운 전송 계층으로 작동합니다.

• iPhone용: macOS iPhone Mirroring를 사용하여 핸드폰을 창으로 취급합니다. 화면 캡처를 통해 '보며', Apple의 Vision 프레임워크 OCR을 사용하고, HID 수준의 CGEvents(터치, 드래그, 입력)를 해당 창에 전송하여 '작동'합니다.
• Android용: USB 또는 Wi-Fi를 통한 adb (Android Debug Bridge)를 사용합니다. screencap과 기기의 자체 접근성 트리로 '보며', 정확한 텍스트 및 요소 위치를 확인하고, adb 입력 명령어를 사용해 '작동'합니다.

대상 사용자

물리적인 iOS 및 Android 기기에서 실제 세계의 모바일 작업을 자동화할 수 있는 에이전트를 개발하고자 하는 개발자 및 AI 연구자.

주요 특징

• 기기 수정 없음: jailbreaking 또는 전용 앱 설치 없이 작동.
• 크로스 플랫폼: macOS Sequoia+를 통해 iPhone과 Android 모두 지원.
• 에이전트 준비 완료: LLM의 '스킬'로 등록 가능하여, 전화 제어 기능을 자동으로 호출할 수 있도록 설계됨.
• 상태 없는 아키텍처: 데몬이 필요 없으며, 각 호출은 자체적으로 완결됩니다.