raulvidis/hermes-android

解決的問題

本專案提供了一種讓 AI 代理遠端控制 Android 裝置的方法，有效為代理提供「手」來與行動應用程式和硬體互動。它允許代理執行開啟應用程式、傳送訊息、截取畫面等任務，而無需複雜的網路設定（如 VPN 或埠轉送）。

工作原理

系統由兩大主要部分組成：以 Kotlin 編寫的 Android 橋接應用程式，以及在伺服器上執行的 Python 工具集。手機透過 WebSocket 向外連接至中繼伺服器，中繼伺服器再透過 HTTP 與 AI 代理通訊。此架構讓手機即使在任何 NAT 後方也能正常運作。配對透過簡單的 6 字元代碼完成。

適用對象

希望其 AI 代理具備真實世界行動裝置互動能力的開發者（特別是使用 hermes-agent 的開發者），以及對自動化 Android Automotive OS (AAOS) 汽車主機單元感興趣的使用者。

主要特色

• 功能齊全的工具集： 包含 42 種專用工具，可用於點擊、滑動、輸入、讀取可存取性樹狀結構，以及管理通知等操作。
• 硬體整合： 支援從麥克風錄音、存取 GPS 位置資訊，以及撥打電話或傳送簡訊。
• 跨平台支援： 兼容 Android Automotive OS (AAOS)，可用於控制車用主機單元。
• NAT 穿透： 手機主動連接伺服器，無需 USB 線纜或複雜的網路設定。