lycorp-jp/sim-use

Give your AI agent eyes and hands on iOS Simulator and Android emulator/devices.

What it solves

sim-use 提供 AI 代理與 iOS 模擬器以及 Android 模擬器或裝置上的行動應用互動的方式。它透過讓大型語言模型觀察當前螢幕狀態並執行動作（如點擊或輸入），來驗證它們所建構的功能是否正常運作，彌補了代理開發迴路中的缺口。

How it works

此工具作為跨平台 CLI，介接 Apple 的 Accessibility API、iOS 模擬器的 HID 管線以及 Android 的 AccessibilityService。它使用「observe, act, verify」循環：

  1. Observe：ui 指令將螢幕的複雜可及性樹轉換為代幣高效、緊湊的概要，使 LLM 能在不消耗過多代幣的情況下輕鬆推理。
  2. Act：代理可以使用別名（例如 tap @9）或特定識別碼執行動作，無需提供元素的精確座標。
  3. Verify：代理再次執行 ui 指令以查看其動作的結果。

為了保持速度，它使用每台裝置的背景守護程式來降低初始化成本，使往返互動大約在 300 ms 左右完成。

Who it’s for

此工具設計給開發 AI 代理以進行行動應用開發、測試與自動化的開發者，滿足需要高效能、跨平台介面以驅動行動模擬器與裝置的需求。

Highlights

  • Token-Efficient：概要表示比原始 JSON 可及性樹緊湊約 16 倍。
  • Cross-Platform：為 iOS 與 Android 提供單一指令介面。
  • AI-Native：包含別名快取點擊與捆綁的代理技能（例如 Claude），教導 AI 如何使用 CLI。
  • Comprehensive Input：支援點擊、滑動、硬體按鈕以及 IME 安全的 Unicode 貼上，以繞過鍵盤組合問題。
  • Batching：僅 iOS 支援將多個步驟串接成一次呼叫，以降低延遲。
  • Viewer：捆綁的 Web 應用將可及性樹渲染到 SVG 畫布上，方便視覺除錯。