rounak/PhoneAgent

解決的問題

PhoneAgent 提供了 AI 代理與行動裝置互動與控制的方法。它彌補了高階 AI 推理與操作 iPhone 或 Android 裝置所需的低階技術動作之間的差距，讓代理能執行開啟應用程式、點擊元件和輸入文字等任務。

工作原理

此專案主要以兩種模式運作：

1. 內建 iPhone 代理：一個獨立的 SwiftUI 應用程式，使用 OpenAI Responses API 處理提示並直接在裝置上執行動作。
2. 外部橋接：一個 JSON-RPC 伺服器，允許外部 AI 代理（如 Codex 或 OpenClaw）向行動裝置傳送命令。

對於 iOS，它使用 XCTest 主機化的動作針對模擬器或實體裝置。對於 Android，它使用 adb（Android 調試橋）結合 UiAutomator 執行命令。

適用對象

需要透過 API 呼叫以標準化方式控制 iOS 和 Android 裝置的移動自動化代理之開發者與 AI 研究人員。

主要亮點

• 跨平台支援：支援 iOS（模擬器與實體裝置）和 Android（模擬器與實體裝置）。
• 統一的 RPC 表面：為兩個平台提供一組共用的動作，包括 get_tree、get_screen_image、tap 和 scroll。
• 語音與文字輸入：內建的 iOS 代理支援鍵盤輸入、麥克風支援與自訂喚醒詞模式。
• 本機主機導向的安全性：RPC 橋接限制在 127.0.0.1，以維持對裝置存取的控制。