ace-trump-tech/MindPaw

해결하는 문제

MindPaw는 저렴한 비용으로 오픈소스로 제공되는 데스크톱 사족 로봇 플랫폼입니다. 단순한 원격 조종 장난감과 복잡한 AI 로봇 사이의 격차를 메우기 위해 음성 인터랙션, 제스처 인식, LLM 기반 대화 기능을 저비용 하드웨어(약 ¥50)에 통합합니다.

작동 방식

ESP8266 마이크로컨트롤러를 기반으로 하며, 전용 모듈과 소프트웨어 로직의 조합으로 구성됩니다:

• AI 통합: Doubao LLM API에 연결하여 텍스트, 표정, 물리적 움직임을 혼합해 응답하는 지능적인 대화를 구현합니다.
• 감지 기능: OV2640 카메라를 사용해 제스처 인식(경량 MLP 모델 기반)과 HLK-V20 모듈을 통해 음성 명령 인식을 수행합니다.
• 상호작용: OLED 화면은 7가지 감정을 표시하며, 스피커를 통해 오디오 피드백을 제공합니다. 웹 기반 인터페이스를 통해 브라우저에서 수동 원격 제어가 가능합니다.
• 감정 엔진: 상호작용 빈도와 내용에 따라 감정 반응을 시뮬레이션하는 PAD 모델 상태 기계를 구현합니다.

대상 사용자

• 마이크로컨트롤러, 서보 모터, 카메라, AI API 통합 방법을 배우고 싶은 취미가 있는 사람이나 학생.
• 로봇공학과 몸을 가진 AI에 예산 친화적인 입문점을 찾는 제작자.
• 임베디드 하드웨어에서 경량 신경망을 구현하고 싶은 개발자.

주요 특징

• 극도로 저렴한 비용: 전체 재료 비용은 약 ¥50(기본 버전은 ¥35).
• 다중 모달 상호작용: 음성, 제스처, 웹 제어를 결합해 동작을 트리거합니다.
• 몸을 가진 AI: LLM을 활용해 물리적 반응과 감정 표현을 구동합니다.
• 완전한 오픈소스: 모든 C++ 소스 코드, PCB 설계( LCSC/JLCPCB), 3D 프린트 가능한 STL 파일을 포함합니다.