lycorp-jp/sim-use

解決的問題

sim-use 提供一個統一的命令列介面（CLI），讓 AI 代理能在 iOS 模擬器、Android 模擬器與 Android 裝置上觀測與操作移動螢幕。它透過讓代理能真正「看見」並作用於其所建構的應用程式 UI，彌補了智能體式移動開發循環中的缺口。

工作原理

此工具透過單一命令介面驅動 Apple 的 Accessibility APIs、iOS 模擬器 HID 流程，以及 Android 的 AccessibilityService。它將複雜的可存取性樹轉換為高效、緊湊的概要，使 LLM 能輕鬆推理。執行操作時，代理可使用從上一次螢幕觀測中快取的別名（例如 @9），無需為每次互動提供精確座標。

適用對象

專為需要跨平台方式程式化控制移動環境的移動應用開發、測試與自動化領域的 AI 代理開發者設計。

主要亮點

• 高效觀測：將原始可存取性樹轉換為緊湊的概要，相比原始 JSON，可將令牌使用量減少約 16 倍。
• 跨平台支援：一套命令在 iOS 模擬器、Android 模擬器與 Android 裝置上通用。
• 原生代理設計：支援別名快取點擊、錯誤的結構化 JSON 包裝，以及內建的代理技能，可快速教導 AI 客戶端（如 Claude）使用此 CLI。
• 高效率：使用背景守護程序最小化初始化開銷，實現約 300ms 的往返時間。
• 全面互動：支援點擊、滑動、文字輸入、貼上（包含 IME 安全的 Unicode）、硬體按鈕按壓，以及影片錄製/串流。