lycorp-jp/sim-use

해결하는 문제

sim-use는 iOS 시뮬레이터, Android 에뮬레이터, Android 기기에서 모바일 화면을 관찰하고 상호작용할 수 있는 통합 명령줄 인터페이스(CLI)를 제공합니다. AI 에이전트가 직접 "보는" 방식으로 구축한 앱의 UI에 작동하여 작업을 검증할 수 있도록, 에이전트 기반 모바일 개발 루프의 격차를 메웁니다.

작동 방식

이 도구는 Apple의 접근성 API, iOS 시뮬레이터의 HID 파이프라인, Android의 AccessibilityService를 단일 명령 인터페이스를 통해 제어합니다. 복잡한 접근성 트리를 LLM이 쉽게 추론할 수 있도록 토큰 효율적이고 컴팩트한 개요로 변환합니다. 작동할 때는 이전 화면 관찰에서 캐시된 별칭(예: @9)을 사용할 수 있어, 모든 상호작용에 정확한 좌표를 제공할 필요가 없습니다.

대상 사용자

모바일 앱 개발, 테스트, 자동화를 위한 AI 에이전트를 개발하는 개발자에게 적합합니다. 크로스플랫폼으로 모바일 환경을 프로그래밍적으로 제어할 필요가 있는 사용자에게 이상적입니다.

주요 기능

• 토큰 효율적인 관찰: 원시 접근성 트리를 컴팩트한 개요로 변환하여 원시 JSON 대비 약 16배의 토큰 사용량을 절감합니다.
• 크로스플랫폼: iOS 시뮬레이터, Android 에뮬레이터, Android 기기에서 동일한 명령어 세트가 작동합니다.
• 에이전트 네이티브 설계: 캐시된 별칭을 사용한 탭, 오류용 구조화된 JSON 래퍼, AI 클라이언트(예: Claude)가 CLI를 빠르게 학습할 수 있도록 번들된 에이전트 기술을 포함합니다.
• 고성능: 백그라운드 데몬을 사용해 초기화 비용을 최소화하여 라운드트립 시간을 약 300ms로 달성합니다.
• 포괄적인 상호작용: 탭, 스와이프, 텍스트 입력, 붙여넣기(IME 안전한 유니코드 포함), 하드웨어 버튼 누름, 비디오 녹화/스트리밍을 지원합니다.