ace-trump-tech/MindPaw

🐕 MindPaw — 基于 ESP8266 的开源桌面四足机器狗,支持语音、手势、网页遥控、豆包 AI 对话与 PAD 情感交互。可选 AI Infra 网关,适合机器人入门、嵌入式 AI、边缘 Agent 与 HRI 研究。

解决的问题

MindPaw 提供了一个低成本、开源的桌面四足机器人平台,集成了 AI 交互、计算机视觉和情感响应。通过结合 ESP8266、伺服电机和基础电子元件,总材料成本约为 ¥50,降低了机器人学习的入门门槛。

工作原理

该机器人由 ESP8266 微控制器驱动,并使用多个模块实现交互:

  • AI 交互:通过 API 连接 Doubao LLM 实现智能对话,对话内容被转化为物理动作和面部表情。
  • 感知:使用 OV2640 摄像头进行手势识别(通过轻量级 MLP 实现),并采用 v2.0 流式 3D 重建层实现障碍物避让和点云可视化。
  • 交互:使用 HLK-V20 语音模块实现命令识别,OLED 屏幕显示 7 种不同情绪,扬声器提供音频反馈。
  • 控制:可通过设备上托管的基于 Web 的远程控制界面进行操作。
  • AI 基础设施网关:可选的 Python 基础网关,用于研究人员研究 AI 代理时的模型适配、认证和结构化输出处理。

适用人群

  • 初学者和硬件爱好者:希望制作第一台机器人,并学习 ESP8266、伺服电机和基础电子知识的人。
  • AI 与边缘计算研究人员:对 AI 代理、模型路由以及边缘设备与云 LLM 协同感兴趣的开发者。

核心亮点

  • 超低成本:完整搭建成本约为 ¥50(基础版 ¥35)。
  • 多模态交互:支持语音命令、手势识别和 AI 驱动的对话。
  • 情感引擎:基于 PAD 模型的状态机,可模拟快乐、无聊等情绪。
  • 完全开源:包含所有 C++ 固件、PCB 原理图(LCSC EDA)和 3D 打印 STL 文件。
  • 流式 3D 感知:v2.0 版本新增实时 3D 重建功能,障碍物避让延迟约 150ms。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目