ace-trump-tech/MindPaw

何を解決するか

MindPawは、AI対話、コンピュータビジョン、感情反応を統合した、手頃な価格のオープンソースのデスクトップ四足ロボットを構築するためのプラットフォームを提供します。ESP8266、サーボモーター、基本的な電子部品を組み合わせることで、総材料費は約¥50で、ロボット工学の学習の障壁を低くします。

動作方法

このロボットはESP8266マイコンで駆動され、以下のモジュールを用いて相互作用を行います：

• AI対話：API経由でDoubao LLMに接続し、知的な会話を実現。会話内容は物理的な動きや表情に変換されます。
• 認識：OV2640カメラを用いて軽量なMLPによるジェスチャー認識を実施。v2.0のストリーミング3D再構成レイヤーにより、障害物回避と点群可視化を実現。
• 相互作用：HLK-V20音声モジュールでコマンド認識、OLEDスクリーンで7種類の感情を表示、スピーカーで音声フィードバックを提供。
• 制御：デバイス上にホストされたウェブベースのリモートコントロールインターフェースで操作可能。
• AIインフラゲートウェイ：研究者がAIエージェントを研究する際のモデル適応、認証、構造化出力を処理するためのオプションのPythonベースゲートウェイ。

対象ユーザー

• 初心者およびハードウェア愛好家：初めてのロボットを自作し、ESP8266、サーボモーター、基本的な電子工学を学びたい人。
• AIおよびエッジコンピューティング研究者：AIエージェント、モデルルーティング、エッジデバイスとクラウドLLMの連携に興味がある開発者。

特徴

• 超低コスト：完成品の総コストは約¥50（基本バージョンは¥35）。
• マルチモーダル相互作用：音声コマンド、ジェスチャー認識、AI駆動の対話に対応。
• 感情エンジン：PADモデルに基づく状態機械により、喜びや退屈といった感情をシミュレート。
• 完全オープンソース：すべてのC++ファームウェア、PCB回路図（LCSC EDA）、3Dプリント可能なSTLファイルを含む。
• ストリーミング3D認識：v2.0では、約150msの遅延でリアルタイム3D再構成を実現し、障害物回避を可能に。