leeguooooo/iphone-use

解決する課題

iphone-useを使用すると、AIエージェントは人間のように実際のiPhoneを操作できます。公式APIがないアプリや、標準的な画面録画がブロックされているアプリであっても、エージェントがアプリの操作、ボタンのタップ、テキスト入力、画面のスワイプを行うことが可能です。

仕組み

Mac上でデーモンが実行され、USBまたはWi-Fi経由でiPhoneに接続します。iPhoneには専用のXCTest runnerがインストールされ、画面を単なるピクセルではなくアクセシビリティツリー（テキストベース）として読み取ります。これにより、エージェントはUI要素を直接「認識」し、操作することができます。このプロジェクトは MCP (Model Context Protocol) サーバーとして機能し、Claude CodeやCodexなどのAIクライアントがiPhoneにコマンドを送信し、操作の成否に関するフィードバックを受け取れるようにします。

対象ユーザー

このツールは、AIエージェントを使用して物理的なiPhone上のタスクを自動化したい開発者、テスター、パワーユーザー向けです。反復的なワークフローの実行、自動テストの実施、またはコンピュータからリモートでiPhoneを制御する必要がある場合に特に役立ちます。

主な特徴

• APIがないアプリや画面キャプチャ保護があるアプリを含む、あらゆるアプリで動作します。
• USBとWi-Fiの両方の接続をサポートし、柔軟性を提供します。
• 「Flows」機能を搭載しており、AIトークンを使用せずに多段階のタスクを記録・再生できます。
• ブラウザや別のiPhoneから電話を操作できる、リアルタイムのリモートコントロールインターフェースを提供します。
• 高速性を重視して構築されており、高性能な画面読み取りとアクション実行を実現しています。
• プライバシーを優先し、パスワードなどの機密情報はデバイス上に保持され、ユーザーは特定のアプリへのエージェントのアクセスをブロックできます。