PiSugar/whisplay-ai-chatbot
Pocket-sized AI chatbot built using a RPI Zero 2w / 5
何を解決するか
ポケットサイズの音声対話型AIチャットボットのソフトウェアおよびハードウェアの設計図を提供します。Raspberry Piを手のひらサイズのデバイスに変換し、音声を聞き、LLMで処理し、返答する機能を持ち、未来のワイヤレス通話機のような動作を実現します。
動作方法
このシステムは、Whisplay HAT（LCD画面、スピーカー、マイクを搭載）を搭載したRaspberry Pi（Zero 2wまたはPi 5）上で動作します。チャットボットのロジックはPythonとNode.jsの組み合わせで処理されます。オンラインおよびオフラインのビルドをサポートしており、whisper（音声認識）、LLM、VLM（視覚言語モデル）の処理を高速化するため、LLM8850やRaspberry Pi AI HAT+ 2（Hailo-10H）などのAIアクセラレータカードとのオプション統合も可能です。
対象ユーザー
Raspberry Piハードウェアを使って物理的で持ち運び可能なAIアシスタントを構築したいハードウェア愛好家、マーカー、AIアマチュア志願者。
特徴
- 音声優先のインタラクション：プッシュ・トゥ・トークおよびウェイクワード機能により、手を離して使える。
- マルチモーダル機能：テキストプロンプトからの画像生成および視覚言語モデル（VLM）をサポート。
- ハードウェアアクセラレーション：高速なローカル推論を実現するAIアクセラレータカードと互換性あり。
- ポータブル設計：PiSugarバッテリーとカスタム3Dプリント可能な筐体と併用可能。
関連
- プロジェクト
- プロジェクト
- Dispatch
- プロジェクト
- プロジェクト