witchan/ios-mcp

해결하는 문제

iOS MCP는 잠금을 해제한 iPhone을 직접 제어할 수 있는 AI 에이전트(Claude, Cursor, Codex 등)를 가능하게 합니다. LLM의 추론과 iOS 장치의 물리적 또는 소프트웨어 기반 상호작용 사이의 격차를 메우며, 자동화 및 리버스 엔지니어링 디버깅을 가능하게 합니다.

작동 방식

잠금을 해제한 iOS 장치에서 실행되는 Model Context Protocol (MCP) 서버로 작동합니다. AI 에이전트에게 46개의 다양한 도구를 노출하여 다음과 같은 포괄적인 기능을 제공합니다:

• 터치 및 제스처: 특정 좌표에서 탭, 스와이프, 긴 누름, 드래그 앤 드롭 동작을 시뮬레이션.
• 하드웨어 버튼: 홈, 전원, 볼륨 버튼의 물리적 누름을 시뮬레이션.
• 텍스트 입력: 클립보드 또는 HID 시뮬레이션을 통해 텍스트 입력.
• 시각 정보: 스크린샷 캡처 및 OCR(Apple Vision 또는 PaddleOCR 사용)을 통해 화면 내용을 이해.
• 앱 관리: 앱 실행, 종료, 설치/제거(.ipa, .tipa, .deb 형식).
• 시스템 접근: 파일 읽기/쓰기, 쉘 명령어 실행, 시스템 로그 접근.
• 장치 제어: 밝기 및 볼륨 조절.
• 접근성: UI 요소 트리 조회 및 텍스트나 레이블로 특정 요소와 상호작용.

대상 사용자

잠금을 해제한 iOS 장치를 소유하고 있으며, AI 에이전트를 사용해 작업을 자동화하거나 장치에서 소프트웨어를 디버깅하고자 하는 개발자 및 리버스 엔지니어.

주요 특징

• 풍부한 도구 세트: 쉘 접근부터 고수준 UI 상호작용까지 46개의 도구를 포함.
• 유연한 OCR: 오프라인 PaddleOCR(ONNX Runtime CPU 기반)과 Apple Vision 모두 지원.
• 다중 모달 상호작용: 스크린샷, UI 요소 트리, OCR을 결합하여 AI가 장치를 "보며" 상호작용할 수 있도록 함.
• 광범위한 호환성: 루트풀, 루트리스, 루트하이드 등 다양한 잠금 해제 방식과 iOS 13부터 18까지의 버전을 지원.