pollen-robotics/reachy_mini_conversation_app

해결하는 문제

이 프로젝트는 Reachy Mini 로봇을 위한 대화형 인터페이스를 제공하여, 실시간 음성, 시각, 그리고 물리적 움직임을 사용해 인간과 상호작용할 수 있도록 합니다. 고수준의 AI 추론(LLM)과 물리적 로봇 하드웨어 사이의 격차를 메우며, 자연어 대화를 기반으로 감정 표현, 춤, 작업 수행이 가능하게 합니다.

작동 방식

이 앱은 사용자를 실시간 AI 백엔드(Hugging Face를 통해)와 로봇 하드웨어에 연결합니다. 음성 반응 움직임(예: 흔들림)과 큐잉된 주요 동작(예: 춤, 특정 자세)을 결합하는 계층적 움직임 시스템을 사용합니다.

AI 어시스턴트가 특정 기능을 트리거할 수 있는 도구 기반 아키텍처를 채택합니다:

• 로컬 도구: 로봇 하드웨어를 제어하는 Python 모듈(예: 머리 움직이기, 카메라 프레임 캡처)
• 원격 도구: 외부 데이터를 제공하는 MCP 호환 Hugging Face Spaces(예: 웹 검색, 날씨, 시간)

사용자는 "프로필"(성격)을 정의할 수 있으며, 특정 시스템 프롬프트와 활성화된 도구 세트를 포함시켜 로봇의 행동을 변경할 수 있습니다.

대상 사용자

• Reachy Mini 하드웨어를 사용하는 로봇 소유자 및 개발자
• 몸체화된 지능과 인간-로봇 상호작용에 관심 있는 AI 연구자
• LLM 기반 도구 호출을 사용해 사용자 정의 로봇 행동을 구축하고 테스트하고자 하는 개발자

주요 특징

• 실시간 상호작용: 낮은 지연 시간의 음성 대화 및 시각 처리
• 성격 시스템: 고유한 지침과 도구 접근 권한을 가진 사용자 정의 가능한 프로필
• 하이브리드 도구: 하드웨어 제어를 위한 로컬 Python 도구와 외부 API 접근을 위한 원격 MCP 도구 모두 지원
• 통합 움직임: 춤과 감정 표현을 위한 라이브러리가 포함된 조화로운 움직임, 음성과 융합
• 웹 UI: 성격, 도구, 설정을 관리하기 위한 선택적 인터페이스