ShawnPana/phone-harness

解決的問題

讓 AI 代理（例如 Claude Code 或 Codex）可以直接控制實體智慧型手機。透過使用現有的系統鏡像與除錯工具，無需複雜的設定（如越獄、Xcode 或 WebDriverAgent），為 LLM 提供一種方式，使其能『看見』與『觸碰』行動裝置。

工作原理

此專案作為代理與手機之間的輕量級傳輸層：

• iPhone：使用 macOS iPhone Mirroring，將手機視為一個視窗。透過螢幕截圖與 Apple 的 Vision 框架 OCR 實現『看見』，並透過向該視窗傳送 HID 級別 CGEvents（點擊、拖曳、輸入）實現『操作』。
• Android：透過 USB 或 Wi-Fi 使用 adb（Android Debug Bridge）。利用 screencap 與裝置自身的可存取性樹狀結構實現『看見』，以精確定位文字與元件，並透過 adb 輸入指令實現『操作』。

適用對象

希望建構能在實體 iOS 與 Android 裝置上自動化真實世界行動任務的開發者與 AI 研究人員，且無需修改裝置系統軟體。

亮點

• 無需設備修改：無需越獄或在手機上安裝專用應用程式即可運作。
• 跨平台支援：支援 iPhone（透過 macOS Sequoia+）與 Android。
• 代理就緒：專為註冊為 LLM 的『技能』而設計，讓 LLM 可自動呼叫手機控制功能。
• 無狀態架構：無需守護程序；每次呼叫皆為自我完備。