lycorp-jp/sim-use

Give your AI agent eyes and hands on iOS Simulator and Android emulator/devices.

What it solves

sim-use 为 AI 代理提供了一种与 iOS 模拟器和 Android 模拟器或设备上的移动应用交互的方式。它通过让大型语言模型观察当前屏幕状态并执行操作（如点击或输入），来验证它们构建的功能是否正常工作，从而弥补了代理开发循环中的空白。

How it works

该工具作为跨平台 CLI 工作，能够对接 Apple 的 Accessibility API、iOS 模拟器的 HID 管道以及 Android 的 AccessibilityService。它使用 “observe, act, verify” 循环：

  1. Observe：ui 命令将屏幕的复杂可访问性树转换为一种代币高效、紧凑的概要，使 LLM 能够在不消耗过多代币的情况下轻松推理。
  2. Act：代理可以使用别名（例如 tap @9）或特定标识符执行操作，无需提供元素的精确坐标。
  3. Verify：代理再次运行 ui 命令以查看其操作的结果。

为了保持速度，它使用每台设备的后台守护进程来降低初始化成本，使往返交互大约在 300 ms 左右完成。

Who it’s for

它面向构建用于移动应用开发、测试和自动化的 AI 代理的开发者，满足对高性能、跨平台接口以驱动移动模拟器和设备的需求。

Highlights

  • Token-Efficient：概要表示比原始 JSON 可访问性树紧凑约 16 倍。
  • Cross-Platform：为 iOS 与 Android 提供统一的命令界面。
  • AI-Native：包含别名缓存点击和捆绑的代理技能（例如 Claude），教会 AI 如何使用 CLI。
  • Comprehensive Input：支持点击、滑动、硬件按钮以及 IME 安全的 Unicode 粘贴，以绕过键盘组合问题。
  • Batching：仅 iOS 支持将多个步骤链入一次调用，以降低延迟。
  • Viewer：捆绑的 Web 应用将可访问性树渲染到 SVG 画布上，便于可视化调试。