lycorp-jp/sim-use

해결하는 문제

sim-use는 AI 에이전트가 iOS 시뮬레이터, Android 에뮬레이터 및 Android 기기의 모바일 애플리케이션과 상호작용할 수 있는 방법을 제공합니다. 에이전트가 화면 상태를 관찰하고 작업(탭 또는 입력 등)을 수행하여 작업을 검증하거나 모바일 워크플로우를 자동화할 수 있도록 함으로써 에이전트 개발 루프의 간극을 메워줍니다.

작동 원리

이 도구는 Apple의 Accessibility APIs, iOS Simulator HID 파이프라인 및 Android의 AccessibilityService와 인터페이스하는 크로스 플랫폼 CLI입니다. 모바일 OS의 복잡한 접근성 트리를 LLM이 쉽게 추론할 수 있는 토큰 효율적인 텍스트 기반 아웃라인으로 단순화합니다. 기기별 백그라운드 데몬을 사용하여 초기화 오버헤드를 줄임으로써 빠른 관찰-행동 왕복(약 300ms)을 가능하게 합니다.

대상 사용자

iOS 및 Android 플랫폼 전반에서 모바일 앱 테스트, 검증 및 상호작용을 자동화해야 하는 AI 에이전트를 구축하는 개발자를 위해 설계되었습니다.

주요 특징

• 토큰 효율적인 관찰: 원시 접근성 데이터를 컴팩트한 아웃라인으로 변환하여 JSON 대비 토큰 사용량을 약 16배 줄입니다.
• 크로스 플랫폼 일관성: iOS와 Android 모두에 단일 명령 인터페이스를 사용하여 하나의 에이전트 루프가 두 플랫폼에서 모두 작동하도록 합니다.
• 별칭 기반 상호작용: 요소에 대한 @N 별칭을 지원하여 에이전트가 좌표 없이 마지막으로 관찰된 화면을 기반으로 요소를 탭할 수 있습니다.
• 포괄적인 제어: 탭, 스와이프, 텍스트 입력, 하드웨어 버튼 누르기, 비디오 스트리밍/녹화 등 광범위한 작업을 지원합니다.
• 에이전트 네이티브 통합: AI 클라이언트에게 CLI 사용 방법을 빠르게 가르칠 수 있는 번들 에이전트 스킬(예: Claude용)이 포함되어 있습니다.