lycorp-jp/sim-use

解决的问题

sim-use 提供了一个统一的命令行界面（CLI），允许 AI 代理在 iOS 模拟器、Android 模拟器和 Android 设备上观察和操作移动屏幕。它通过让代理能够真正"看到"并作用于其构建的应用程序的 UI，弥合了智能体式移动开发循环中的空白。

工作原理

该工具通过单一命令界面驱动 Apple 的 Accessibility APIs、iOS 模拟器 HID 流程以及 Android 的 AccessibilityService。它将复杂的可访问性树转换为一种高效、紧凑的概要，使 LLM 能够轻松推理。要执行操作时，代理可以使用从上一次屏幕观察中缓存的别名（如 @9），无需为每次交互提供精确坐标。

适用人群

专为需要跨平台方式编程控制移动环境的移动应用开发、测试和自动化领域的 AI 代理开发者设计。

主要亮点

• 高效观察：将原始可访问性树转换为紧凑的概要，相比原始 JSON，可将令牌使用量减少约 16 倍。
• 跨平台支持：一套命令在 iOS 模拟器、Android 模拟器和 Android 设备上通用。
• 原生代理设计：支持别名缓存点击、错误的结构化 JSON 包装，以及捆绑的代理技能，可快速教会 AI 客户端（如 Claude）使用该 CLI。
• 高性能：使用后台守护进程最小化初始化开销，实现约 300ms 的往返时间。
• 全面交互：支持点击、滑动、文本输入、粘贴（包括 IME 安全的 Unicode）、硬件按钮按下以及视频录制/流媒体。