ShawnPana/phone-harness

해결하는 문제

Phone Harness는 AI 에이전트(예: Claude Code 또는 Codex)가 물리적 또는 클라우드 기반 스마트폰을 제어할 수 있게 합니다. 탈옥이나 기기에 소프트웨어를 설치할 필요가 없으며, 에이전트는 화면을 보고 탭 및 입력과 같은 작업을 수행하여 모바일 앱과 상호 작용할 수 있습니다.

작동 방식

플랫폼에 따라 이 도구는 다른 전송 방법을 사용합니다:

• iPhone: Mac의 iPhone 미러링을 사용하여 전화를 창으로 렌더링하고, Apple의 Vision 프레임워크로 OCR을 수행하여 텍스트 좌표를 찾고, HID 수준 이벤트로 입력을 수행합니다.
• Android: Android Debug Bridge(adb)를 사용하여 화면을 캡처하고 접근성 트리에서 텍스트를 가져오며, input 명령으로 작업을 수행합니다.
• 클라우드 폰: 모든 운영 체제에서 원격으로 제어할 수 있는 호스팅된 Android(adb 경유) 또는 iPhone(HTTPS 경유)을 제공합니다.

대상 사용자

실제 모바일 기기에서 작업을 자동화하는 기능을 코딩 에이전트에 부여하려는 개발자 및 AI 연구자. 예: 앱 테스트 또는 라이드 예약과 같은 실제 작업 수행.

주요 특징

• 멀티 플랫폼 지원: iPhone, Android 및 클라우드 호스팅 기기에서 작동합니다.
• 기기 수정 불필요: 탈옥, Xcode 또는 기기 내 앱 설치가 필요 없습니다.
• 에이전트 준비 완료: AI 에이전트와 쉽게 통합할 수 있는 설정 프롬프트 및 스킬 정의가 포함되어 있습니다.
• OCR 기반 상호 작용: 화면 캡처와 텍스트 인식을 사용하여 탭 및 입력 위치를 식별합니다.