ShawnPana/phone-harness

解決する課題

AIエージェント（Claude Code や Codex など）が物理的なスマートフォンを直接制御できるようにします。jailbreaking や Xcode、WebDriverAgent といった複雑なセットアップを必要とせず、既存のシステムミラーリングおよびデバッグツールを使用して、LLMがモバイルデバイスを「見る」（視覚認識）および「触る」（操作）できる方法を提供します。

動作方法

このプロジェクトは、エージェントとスマートフォンの間の軽量なトランスポート層として機能します。

• iPhone 用：macOS の iPhone Mirroring を使用して、スマートフォンをウィンドウとして扱います。スクリーンキャプチャにより「見る」（視覚認識）し、Apple の Vision フレームワークによる OCR を使用し、「操作」は HID レベルの CGEvents（タップ、ドラッグ、入力）をそのウィンドウに送信することで実現します。
• Android 用：USB または Wi-Fi を通じた adb（Android Debug Bridge）を使用します。screencap とデバイスのアクセシビリティツリーを用いて「見る」（画面情報と要素の正確な位置を取得）し、adb 入力コマンドで「操作」を実行します。

対象ユーザー

物理的な iOS および Android デバイス上で現実世界のモバイルタスクを自動化できるエージェントを開発したい開発者や AI 研究者。

特徴

• デバイスの変更なし：jailbreaking や専用アプリのインストールなしで動作。
• クロスプラットフォーム：macOS Sequoia+ を介した iPhone と Android を両方サポート。
• エージェント対応：LLM の「スキル」として登録可能で、電話制御関数を自動的に呼び出せるように設計。
• ステートレスアーキテクチャ：デーモンは不要。各呼び出しは自己完結型です。