lycorp-jp/sim-use

何を解決するか

sim-use は、iOS シミュレータ、Android エミュレータ、および Android デバイスのモバイル画面を観察・操作できる統合コマンドラインインターフェース（CLI）を提供します。AIエージェントが実際に「見える」ことで、自らが構築したアプリのUIに作用し、作業の検証を可能にする、エージェント型モバイル開発のフローにおけるギャップを埋めます。

動作方法

このツールは、AppleのアクセシビリティAPI、iOSシミュレータのHIDパイプライン、AndroidのAccessibilityServiceを、単一のコマンドインターフェースから駆動します。複雑なアクセシビリティツリーを、LLMが容易に推論できるように、トークン効率的でコンパクトなアウトラインに変換します。操作を行う際には、直前の画面観察からキャッシュされたエイリアス（例：@9）を使用できるため、すべての操作で正確な座標を指定する必要がありません。

対象ユーザー

モバイルアプリ開発、テスト、自動化のためのAIエージェントを開発している開発者向けです。クロスプラットフォームでモバイル環境をプログラム的に制御する必要がある方におすすめです。

特徴

• トークン効率的な観察: ロウアクセシビリティツリーをコンパクトなアウトラインに変換し、元のJSONと比較して約16倍のトークン使用量削減を実現。
• クロスプラットフォーム: iOSシミュレータ、Androidエミュレータ、Androidデバイスのすべてで同じコマンドセットが利用可能。
• エージェントネイティブ設計: エイリアスキャッシュ付きタップ、エラー用の構造化JSONエンベロープ、AIクライアント（例：Claude）がCLIを素早く学習できるようにバンドルされたエージェントスキルを備えています。
• 高パフォーマンス: バックグラウンドデーモンを使用して初期化コストを最小限に抑え、ラウンドトリップ時間は約300msを達成。
• 包括的な操作: タップ、スワイプ、テキスト入力、ペースト（IME対応のUnicode含む）、ハードウェアボタン押下、動画録画/ストリーミングをサポート。