ace-trump-tech/MindPaw

🐕 MindPaw — 基于 ESP8266 的开源桌面四足机器狗,支持语音、手势、网页遥控、豆包 AI 对话与 PAD 情感交互。可选 AI Infra 网关,适合机器人入门、嵌入式 AI、边缘 Agent 与 HRI 研究。

解決的問題

MindPaw 提供了一個經濟實惠、開源的桌面四足機器人平台。它透過將語音互動、手勢辨識與 LLM 驅動的對話整合至低成本硬體(約 ¥50)中,彌補了簡單遙控玩具與複雜 AI 機器人之間的差距。

工作原理

基於 ESP8266 微控制器建構,結合專用模組與軟體邏輯:

  • AI 整合:連接 Doubao LLM API 以實現智慧對話,以文字、表情與物理動作混合回應。
  • 感知能力:使用 OV2640 攝影機進行手勢辨識(透過輕量級 MLP 模型),並使用 HLK-V20 模組實現語音指令辨識。
  • 互動方式:OLED 屏幕顯示 7 種不同情緒,揚聲器提供音訊回饋。透過基於網頁的介面,可在瀏覽器中手動遠端控制。
  • 情感引擎:實作 PAD 模型狀態機,根據互動頻率與內容模擬情感反應。

適用對象

  • 希望學習如何整合微控制器、舵機、攝影機與 AI API 的愛好者與學生。
  • 尋找預算友善入門途徑的創客,進入機器人與具身 AI 領域。
  • 對於在嵌入式硬體上實作輕量級神經網路感興趣的開發者。

主要亮點

  • 極致低成本:總材料成本約為 ¥50(基礎版 ¥35)。
  • 多模態互動:結合語音、手勢與網頁控制來觸發動作。
  • 具身 AI:使用 LLM 驅動物理反應與情感表達。
  • 完全開源:包含所有 C++ 源碼、PCB 設計(LCSC/JLCPCB)與可 3D 列印的 STL 檔案。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案