ShawnPana/phone-harness

解決する問題

Phone Harness は、AIエージェント（Claude CodeやCodexなど）が物理的またはクラウドベースのスマートフォンを制御できるようにします。脱獄やデバイスへのソフトウェアインストールが不要で、エージェントは画面を見てタップやタイピングなどの操作を行うことでモバイルアプリと対話できます。

仕組み

プラットフォームに応じて、このツールは異なる転送方法を使用します：

• iPhone：MacのiPhoneミラーリングを使用して電話をウィンドウとして表示し、AppleのVisionフレームワークでOCRを行いテキスト座標を特定し、HIDレベルのイベントで入力を行います。
• Android：Android Debug Bridge (adb) を使用して画面をキャプチャし、アクセシビリティツリーからテキストを取得し、input コマンドで操作を実行します。
• クラウドフォン：任意のオペレーティングシステムからリモートで制御できるホスト型Android（adb経由）またはiPhone（HTTPS経由）を提供します。

対象ユーザー

実際のモバイルデバイスでタスクを自動化する機能をコーディングエージェントに与えたい開発者やAI研究者。例えば、アプリのテストやライド予約などの実際の操作を実行する場合です。

ハイライト

• マルチプラットフォーム対応：iPhone、Android、クラウドホスト型デバイスで動作します。
• デバイス変更不要：脱獄、Xcode、またはデバイス上のアプリインストールは不要です。
• エージェント対応：AIエージェントと簡単に統合するためのセットアッププロンプトとスキル定義が含まれています。
• OCR駆動の操作：画面キャプチャとテキスト認識を使用して、タップや入力の位置を特定します。