Adolanium/hermes-gadget-sdk

해결하는 문제

Hermes Gadget은 AI 에이전트와 물리적 버튼 방식으로 대화할 수 있는 방법을 제공합니다. 휴대폰이나 노트북을 꺼내는 대신 TALK 버튼을 누르고 질문한 다음 책상 위나 손에 든 작은 장치에서 답변을 듣습니다. 또한 에이전트가 장치의 LED와 센서를 제어할 수 있어 가젯이 에이전트 도구에 대한 유형적 인터페이스가 됩니다.

작동 방식

이 프로젝트는 지원되는 보드용 SDK와 기성 펌웨어입니다. 장치는 디스플레이, 버튼 입력 및 통신을 처리하는 휴대용 C++17 코어를 실행합니다. WebSocket 프로토콜을 사용하여 Wi-Fi를 통해 Hermes Agent(LLM 에이전트)에 연결합니다. 에이전트의 플러그인은 가젯의 컨트롤을 에이전트 도구로 노출하며 음성 인식/텍스트 음성 변환은 에이전트 자체 구성에서 제공됩니다. 브라우저 설치 프로그램에서 USB를 통해 펌웨어를 플래시한 다음 휴대폰에서 Wi-Fi를 관리할 수 있습니다. 데스크톱 시뮬레이터는 동일한 코어를 실행하므로 하드웨어 없이 경험을 테스트할 수 있습니다. Python 도구는 장치 빌드, 시뮬레이션 및 배포를 처리합니다.

대상 사용자

자체 AI 에이전트를 위한 전용 음성 비서를 구축하려는 취미인과 메이커, 그리고 새 보드, 센서 또는 사용자 정의 페이스를 추가하여 하드웨어를 확장하려는 개발자. 시뮬레이터는 하드웨어에 투자하기 전에 상호 작용을 시도하는 장벽을 낮추며 Home Assistant / MQTT 예제는 가젯을 스마트 홈 설정에 통합하는 방법을 보여줍니다.

주요 특징

• ESP32-S3 및 Raspberry Pi 4/5에서 실행되며 즉시 테스트용 데스크톱 시뮬레이터 제공.
• 누르고 말하기 상호 작용: 버튼을 누르고 말하고 놓으면 답변이 들립니다.
• 에이전트는 가젯의 LED, 센서 및 기타 컨트롤을 도구로 읽고 제어할 수 있습니다.
• 초기 USB 플래시 후 무선 펌웨어 업데이트, Hermes에 연결할 수 없는 빌드의 자동 롤백 포함.
• 구성된 램프와 온도 센서가 있는 Home Assistant 및 MQTT 예제.
• MIT 라이선스, 독립 커뮤니티 프로젝트.