lycorp-jp/sim-use

解決する課題

sim-use は、AIエージェントがiOSシミュレーター、Androidエミュレーター、およびAndroidデバイス上のモバイルアプリケーションと対話するための手段を提供します。エージェントが画面の状態を観察し、アクション（タップや入力など）を実行して作業を検証したり、モバイルワークフローを自動化したりできるようにすることで、エージェント開発ループのギャップを埋めます。

仕組み

このツールは、AppleのAccessibility APIs、iOS Simulator HIDパイプライン、およびAndroidのAccessibilityServiceとインターフェースするクロスプラットフォームCLIです。モバイルOSの複雑なアクセシビリティツリーを、LLMが容易に推論できるトークン効率の良いテキストベースのアウトラインに簡略化します。デバイスごとのバックグラウンドデーモンを使用して初期化のオーバーヘッドを削減し、高速な観察・アクションの往復（約300ms）を実現します。

対象ユーザー

iOSおよびAndroidの両プラットフォームでモバイルアプリのテスト、検証、対話を自動化する必要があるAIエージェントを構築する開発者向けに設計されています。

ハイライト

• トークン効率の良い観察: 生のアクセシビリティデータをコンパクトなアウトラインに変換し、JSONと比較してトークン使用量を約16倍削減します。
• クロスプラットフォームの一貫性: iOSとAndroidの両方に単一のコマンドサーフェスを使用し、1つのエージェントループを両方のプラットフォームで機能させることができます。
• エイリアスベースの対話: 要素の @N エイリアスをサポートしており、エージェントは座標を必要とせずに、最後に観察された画面に基づいて要素をタップできます。
• 包括的な制御: タップ、スワイプ、テキスト入力、ハードウェアボタンの押下、ビデオストリーミング/録画など、幅広いアクションをサポートします。
• エージェントネイティブな統合: AIクライアントにCLIの使用方法を素早く教えるためのバンドルされたエージェントスキル（Claude用など）が含まれています。