raulvidis/hermes-android

해결하는 문제

이 프로젝트는 AI 에이전트가 원격으로 안드로이드 장치를 제어할 수 있는 방법을 제공하여, 에이전트가 모바일 앱과 하드웨어와 상호작용할 수 있는 "손"을 제공합니다. 복잡한 네트워크 설정(예: VPN 또는 포트 포워딩) 없이도 앱 열기, 메시지 전송, 스크린샷 캡처와 같은 작업을 수행할 수 있습니다.

작동 방식

시스템은 두 가지 주요 구성 요소로 이루어져 있습니다: Kotlin으로 작성된 안드로이드 브리지 앱과 서버에서 실행되는 Python 도구 세트입니다. 핸드폰은 WebSocket을 통해 외부 서버에 연결되며, 리레이 서버를 통해 AI 에이전트와 HTTP로 통신합니다. 이 아키텍처는 핸드폰이 어떤 NAT 뒤에서도 작동할 수 있도록 합니다. 페어링은 간단한 6자리 코드로 처리됩니다.

대상 사용자

hermes-agent를 사용하는 AI 에이전트 개발자 중, 실제 세계의 모바일 장치와의 상호작용 능력을 갖춘 에이전트를 만들고 싶은 사람, 또는 Android Automotive OS (AAOS) 자동차 헤드유닛을 자동화하고 싶은 사용자.

주요 특징

• 풍부한 도구 세트: 탭, 스와이프, 입력, 접근성 트리 읽기, 알림 관리 등 42개의 전용 도구 포함.
• 하드웨어 통합: 마이크에서 오디오 녹음, GPS 위치 정보 접근, 전화 통화 또는 SMS 전송 지원.
• 크로스오버 지원: 차량 헤드유닛 제어를 위한 Android Automotive OS (AAOS) 호환.
• NAT 트래버설: 핸드폰이 서버에 연결을 시작하므로, USB 케이블이나 복잡한 네트워크 설정이 필요하지 않습니다.