rounak/PhoneAgent

何を解決するか

PhoneAgent は AI エージェントがモバイルデバイスとやり取りし、制御する方法を提供します。高レベルの AI 推論と iPhone や Android デバイスを操作するために必要な低レベルの技術的アクションの間のギャップを埋め、エージェントがアプリの起動、要素のタップ、テキスト入力などのタスクを実行できるようにします。

動作方法

このプロジェクトは主に2つのモードで動作します：

1. インアプリ iPhone エージェント：OpenAI Responses API を使用してプロンプトを処理し、デバイス上で直接アクションを実行するスタンドアロンの SwiftUI アプリ。
2. 外部ブリッジ：外部の AI エージェント（例：Codex や OpenClaw）がモバイルデバイスにコマンドを送信できるようにする JSON-RPC サーバ。

iOS では、シミュレータまたは物理デバイスに対して XCTest ホステッドアクションを使用します。Android では、adb（Android Debug Bridge）と UiAutomator を組み合わせてコマンドを実行します。

対象ユーザー

API 呼び出しを通じて iOS と Android デバイスを標準化された方法で制御したいモバイル自動化エージェントを開発している開発者や AI 研究者。

特徴

• クロスプラットフォーム対応：iOS（シミュレータおよび物理デバイス）と Android（エミュレータおよび物理デバイス）の両方に対応。
• 統一された RPC サーフェス：両方のプラットフォームに共通のアクションセットを提供し、get_tree、get_screen_image、tap、scroll などを含む。
• 音声およびテキスト入力：インアプリ iOS エージェントはキーボード入力、マイクサポート、およびカスタムウェイクワードモードをサポート。
• ローカルホスト指向のセキュリティ：RPC ブリッジは 127.0.0.1 に制限され、デバイスアクセスの制御を維持する。