ace-trump-tech/MindPaw

해결하는 문제

MindPaw는 AI 상호작용, 컴퓨터 비전, 감정 반응을 통합한 저렴하고 오픈소스인 데스크톱 사족 로봇을 구축할 수 있는 플랫폼을 제공합니다. ESP8266, 서보 모터, 기본 전자 부품을 조합하여 총 재료비 약 ¥50에 완성되며, 로봇 공학 학습의 진입 장벽을 낮춥니다.

작동 방식

이 로봇은 ESP8266 마이크로컨트롤러로 구동되며, 다음과 같은 모듈을 사용해 상호작용을 수행합니다:

• AI 상호작용: API를 통해 Doubao LLM에 연결하여 지능적인 대화를 수행하며, 대화 내용을 물리적 움직임과 표정으로 변환합니다.
• 인식: OV2640 카메라를 사용해 가벼운 MLP 기반의 제스처 인식을 수행하고, v2.0 스트리밍 3D 재구성 레이어를 통해 장애물 회피 및 포인트 클라우드 시각화를 구현합니다.
• 상호작용: HLK-V20 음성 모듈을 사용해 명령어 인식, OLED 화면을 통해 7가지 감정 표시, 스피커를 통해 오디오 피드백 제공.
• 제어: 장치에 호스팅된 웹 기반 원격 제어 인터페이스를 통해 작동 가능.
• AI 인프라 게이트웨이: 연구자가 AI 에이전트를 연구할 때 모델 적응, 인증, 구조화된 출력을 처리하는 옵션의 Python 기반 게이트웨이.

대상 사용자

• 초보자 및 하드웨어 애호가: 처음으로 로봇을 만들고 ESP8266, 서보 모터, 기본 전자공학을 배우고 싶은 사람.
• AI 및 엣지 컴퓨팅 연구자: AI 에이전트, 모델 라우팅, 엣지 장치와 클라우드 LLM 간의 협업에 관심 있는 개발자.

주요 특징

• 초저비용: 완성품 비용은 약 ¥50(기본 버전 ¥35).
• 다중 모달 상호작용: 음성 명령, 제스처 인식, AI 기반 대화를 지원.
• 감정 엔진: PAD 모델 기반 상태 기계를 통해 기쁨, 지루함 등 감정을 시뮬레이션.
• 완전한 오픈소스: 모든 C++ 펌웨어, PCB 회로도(LCSC EDA), 3D 프린팅 가능한 STL 파일 포함.
• 스트리밍 3D 인식: v2.0에서는 약 150ms 지연으로 실시간 3D 재구성 제공, 장애물 회피 가능.