lycorp-jp/sim-use
Give your AI agent eyes and hands on iOS Simulator and Android emulator/devices.
解决的问题
sim-use 提供了一种让 AI 代理与 iOS 模拟器、Android 模拟器及 Android 实体设备上的移动应用程序进行交互的方式。它通过让代理观察屏幕状态并执行动作（如点击或输入）来验证工作或自动化移动工作流程，填补了代理开发循环中的缺口。
运作原理
此工具是一个跨平台的 CLI，与 Apple 的 Accessibility APIs、iOS Simulator HID 管线以及 Android 的 AccessibilityService 进行对接。它将移动操作系统复杂的无障碍树状结构简化为 LLM 易于理解的文本版高效率大纲。它使用每个设备的后台常驻程序来减少初始化开销，实现快速的观察-行动往返（约 300ms）。
目标对象
专为开发 AI 代理的开发者设计，这些代理需要在 iOS 和 Android 平台上自动化移动应用程序的测试、验证与交互。
特色亮点
- 高效率 Token 观察：将原始无障碍数据转换为精简大纲，相较于 JSON 可减少约 16 倍的 Token 使用量。
- 跨平台一致性：为 iOS 和 Android 提供统一的指令界面，让同一个代理循环能在两个平台上运作。
- 基于别名的交互：支持元素的
@N别名，让代理能根据最后观察到的屏幕点击元素，无需坐标。 - 全面控制：支持广泛的动作，包括点击、滑动、文本输入、硬件按键以及视频流/录制。
- 代理原生集成：包含内置的代理技能（例如针对 Claude），可快速教导 AI 客户端如何使用此 CLI。
相关
- 项目
- 项目
- 项目
- 项目
- 项目