raulvidis/hermes-android

解决的问题

该项目为 AI 代理提供了一种远程控制 Android 设备的方法，使代理能够拥有“双手”来与移动应用和硬件进行交互。它允许代理执行打开应用、发送消息和截取屏幕截图等任务，而无需复杂的网络配置（如 VPN 或端口转发）。

工作原理

该系统由两大部分组成：用 Kotlin 编写的 Android 桥接应用和运行在服务器上的 Python 工具集。手机通过 WebSocket 向外连接到中继服务器，中继服务器再通过 HTTP 与 AI 代理通信。这种架构使得手机可以在任何 NAT 后面正常工作。配对通过一个简单的 6 位字符代码完成。

适用人群

希望其 AI 代理具备真实世界移动设备交互能力的开发者（特别是使用 hermes-agent 的开发者），以及对自动化 Android Automotive OS (AAOS) 汽车主机单元感兴趣的用户。

主要亮点

• 功能丰富的工具集： 包含 42 个专用工具，用于执行点击、滑动、输入、读取可访问性树和管理通知等操作。
• 硬件集成： 支持从麦克风录制音频、访问 GPS 位置信息，以及拨打电话或发送短信。
• 跨平台支持： 兼容 Android Automotive OS (AAOS)，可用于控制汽车主机单元。
• NAT 穿透： 手机主动连接服务器，无需 USB 线缆或复杂的网络设置。