ace-trump-tech/MindPaw
🐕 MindPaw — 基于 ESP8266 的开源桌面四足机器狗,支持语音、手势、网页遥控、豆包 AI 对话与 PAD 情感交互。可选 AI Infra 网关,适合机器人入门、嵌入式 AI、边缘 Agent 与 HRI 研究。
解決的問題
MindPaw 提供了一個經濟實惠、開源的桌面四足機器人平台。它透過將語音互動、手勢辨識與 LLM 驅動的對話整合至低成本硬體(約 ¥50)中,彌補了簡單遙控玩具與複雜 AI 機器人之間的差距。
工作原理
基於 ESP8266 微控制器建構,結合專用模組與軟體邏輯:
- AI 整合:連接 Doubao LLM API 以實現智慧對話,以文字、表情與物理動作混合回應。
- 感知能力:使用 OV2640 攝影機進行手勢辨識(透過輕量級 MLP 模型),並使用 HLK-V20 模組實現語音指令辨識。
- 互動方式:OLED 屏幕顯示 7 種不同情緒,揚聲器提供音訊回饋。透過基於網頁的介面,可在瀏覽器中手動遠端控制。
- 情感引擎:實作 PAD 模型狀態機,根據互動頻率與內容模擬情感反應。
適用對象
- 希望學習如何整合微控制器、舵機、攝影機與 AI API 的愛好者與學生。
- 尋找預算友善入門途徑的創客,進入機器人與具身 AI 領域。
- 對於在嵌入式硬體上實作輕量級神經網路感興趣的開發者。
主要亮點
- 極致低成本:總材料成本約為 ¥50(基礎版 ¥35)。
- 多模態互動:結合語音、手勢與網頁控制來觸發動作。
- 具身 AI:使用 LLM 驅動物理反應與情感表達。
- 完全開源:包含所有 C++ 源碼、PCB 設計(LCSC/JLCPCB)與可 3D 列印的 STL 檔案。
相關
- 專案
- 專案
- 專案
- 專案
- 專案