pollen-robotics/reachy_mini_conversation_app

何を解決するか

このプロジェクトは、リアルタイム音声、視覚、および編成された動きを統合した、Reachy Miniロボット用の会話型インターフェースを提供します。高レベルのAI推論（LLM）と物理的ロボットハードウェアの間のギャップを埋め、自然言語の会話に基づいて感情を表現したり、ダンスをしたり、タスクを実行したりできるようにします。

動作方法

このアプリは、ユーザーをリアルタイムAIバックエンド（Hugging Face経由）とロボットのハードウェアに接続します。音声反応型の動き（たとえば、ゆらゆらする動き）とキューイングされた主要なアクション（ダンスや特定のポーズなど）を組み合わせるレイヤードモーションシステムを使用しています。

ツールベースのアーキテクチャを採用しており、AIアシスタントが特定の関数をトリガーできます：

• ローカルツール：ロボットのハードウェアを制御するPythonモジュール（例：頭部の移動、カメラフレームのキャプチャ）。
• リモートツール：MCP互換のHugging Face Spacesで、外部データを提供します（例：ウェブ検索、天気、時刻）。

ユーザーは「プロフィール」（個性）を定義でき、特定のシステムプロンプトと有効化されたツールのセットを含めることで、ロボットの振る舞いを変更できます。

対象ユーザー

• Reachy Miniハードウェアを使用するロボット所有者および開発者。
• 身体化された知能と人間-ロボットインタラクションに興味を持つAI研究者。
• LLMベースのツールコールを使ってカスタムロボット行動を構築・テストしたい開発者。

特徴

• リアルタイムインタラクション：低レイテンシの音声会話と視覚処理。
• 個性システム：独自の指示とツールアクセスを持つカスタマイズ可能なプロフィール。
• ハイブリッドツール：ハードウェア制御用のローカルPythonツールと、外部APIアクセス用のリモートMCPツールの両方をサポート。
• 統合されたモーション：ダンスや感情を表現するための動きのライブラリを含み、音声と融合します。
• Web UI：プロフィール、ツール、設定を管理するためのオプションインターフェース。