witchan/ios-mcp

解決する課題

iOS MCPは、ジャイルブレイクされたiPhoneを直接制御できるAIエージェント（Claude、Cursor、Codexなど）を可能にします。LLMの推論とiOSデバイスの物理的・ソフトウェア的インタラクションのギャップを埋め、自動化やリバースエンジニアリングのデバッグを実現します。

動作方法

ジャイルブレイクされたiOSデバイス上で実行されるModel Context Protocol (MCP) サーバーとして動作します。AIエージェントに46種類のツールを公開し、以下の包括的な機能を提供します：

• タッチとジェスチャー： 特定の座標にタップ、スワイプ、長押し、ドラッグアンドドロップをシミュレート。
• ハードウェアボタン： ホームボタン、電源ボタン、音量ボタンの物理的押下をシミュレート。
• テキスト入力： クリップボードまたはHIDシミュレーションを通じてテキストを入力。
• ビジュアル： スクリーンショットの取得とOCR（Apple VisionまたはPaddleOCRを使用）により、画面の内容を理解。
• アプリ管理： アプリの起動、終了、インストール/アンインストール（.ipa、.tipa、.deb形式）。
• システムアクセス： ファイルの読み取り/書き込み、シェルコマンドの実行、システムログのアクセス。
• デバイス制御： 明るさや音量の調整。
• アクセシビリティ： UI要素ツリーの照会と、テキストやラベルで特定要素と対話。

対象ユーザー

ジャイルブレイクされたiOSデバイスを所有し、AIエージェントを使ってタスクの自動化やデバイス上のソフトウェアのデバッグをしたい開発者やリバースエンジニア。

特徴

• 豊富なツールセット： シェルアクセスからUI操作まで、46のツールでカバー。
• 柔軟なOCR： オフラインでPaddleOCR（ONNX Runtime CPU経由）とApple Visionの両方をサポート。
• マルチモーダルインタラクション： スクリーンショット、UI要素ツリー、OCRを組み合わせて、AIがデバイスを「見る」・「操作する」ことを可能に。
• 広範な互換性： ルートフル、ルートレス、ルートハイドを含むさまざまなジャイルブレイクタイプと、iOS 13から18までのバージョンに対応。