ace-trump-tech/MindPaw

🐕 MindPaw — 基于 ESP8266 的开源桌面四足机器狗,支持语音、手势、网页遥控、豆包 AI 对话与 PAD 情感交互。可选 AI Infra 网关,适合机器人入门、嵌入式 AI、边缘 Agent 与 HRI 研究。

解决的问题

MindPaw 提供了一个经济实惠、开源的桌面四足机器人平台。它通过将语音交互、手势识别和 LLM 驱动的对话整合到低成本硬件(约 ¥50)中,弥合了简单遥控玩具与复杂 AI 机器人之间的差距。

工作原理

基于 ESP8266 微控制器构建,结合专用模块与软件逻辑:

  • AI 集成:连接 Doubao LLM API 实现智能对话,以文本、表情和物理动作混合响应。
  • 感知能力:使用 OV2640 摄像头进行手势识别(通过轻量级 MLP 模型),并使用 HLK-V20 模块实现语音命令识别。
  • 交互方式:OLED 屏幕显示 7 种不同情绪,扬声器提供音频反馈。通过基于网页的界面,可在浏览器中手动远程控制。
  • 情感引擎:实现 PAD 模型状态机,根据交互频率和内容模拟情感反应。

适用人群

  • 希望学习如何集成微控制器、舵机、摄像头和 AI API 的爱好者和学生。
  • 寻找预算友好型入门途径的创客,进入机器人和具身 AI 领域。
  • 对在嵌入式硬件上实现轻量级神经网络感兴趣的开发者。

主要亮点

  • 极致低成本:总材料成本约为 ¥50(基础版 ¥35)。
  • 多模态交互:结合语音、手势和网页控制来触发动作。
  • 具身 AI:使用 LLM 驱动物理反应和情感表达。
  • 完全开源:包含所有 C++ 源代码、PCB 设计(LCSC/JLCPCB)和可 3D 打印的 STL 文件。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目