OpenMinis/iCTRL

해결하는 문제

iCTRL은 iPhone을 AI 에이전트의 제어 가능한 자동화 엔드포인트로 전환합니다. iOS 기기를 프로그래밍 방식으로 구동하는 어려움을 해결하며, 에이전트가 인간 사용자처럼 화면, 앱, 시스템 설정과 상호 작용할 수 있는 안정적이고 고성능의 API를 제공합니다.

작동 방식

이 프로젝트는 iPhone에서 장기 실행되는 XCUITest 러너를 실행하고 HTTP를 통해 JSON-RPC 2.0 API를 노출합니다. AI용으로 설계되었기 때문에 기기는 GET /skill 및 GET /schema를 통해 자체 문서를 제공하여 에이전트가 런타임에 전화와 상호 작용하는 방법을 학습할 수 있습니다. 합성 터치 이벤트를 사용하여 표준 UI 테스트 지연을 우회하고 탭, 스와이프, 화면 읽기에 대한 빠른 응답 시간을 달성합니다.

대상 사용자

이것은 iOS에서 작업을 수행해야 하는 AI 에이전트를 구축하는 개발자와 연구자를 위한 것입니다. 예를 들어 앱 탐색, 화면 콘텐츠 읽기, 실제 기기 상호 작용이 필요한 워크플로 자동화 등이 있습니다.

주요 특징

• 자체 설명 API: 에이전트는 사전 구성된 지식 없이도 기능과 메서드를 동적으로 발견할 수 있습니다.
• 고성능: 속도에 최적화되어 약 280ms의 탭 지연 시간과 1초 미만의 화면 스냅샷을 제공합니다.
• 향상된 가시성: 온디바이스 Vision OCR을 사용하여 표준 접근성 트리가 놓칠 수 있는 텍스트와 요소를 읽습니다.
• 강력한 보안: 암호화되고 인증된 통신을 갖추며 기기에서 직접 페어링 승인이 필요합니다.
• 유연한 배포: SideStore(무료 Apple ID) 또는 Xcode를 통해 설치할 수 있으며 LAN을 통한 원격 작동 또는 로컬 전용 모드를 지원합니다.