pollen-robotics/reachy_mini_conversation_app

解決的問題

本專案為 Reachy Mini 機器人提供了一個對話式介面，使其能透過即時語音、視覺與物理動作與人類互動。它彌補了高階 AI 推理（LLM）與實體機器人硬體之間的差距，讓機器人能根據自然語言對話表達情緒、跳舞並執行任務。

如何運作

此應用程式將使用者連接到即時 AI 後端（透過 Hugging Face）與機器人的硬體。它採用分層式運動系統，將語音反應動作（例如晃動）與排隊的主要動作（例如舞蹈或特定姿勢）結合。

它採用工具導向的架構，AI 助理可觸發特定功能：

• 本機工具：控制機器人硬體的 Python 模組（例如，移動頭部、擷取相機畫面）。
• 遠端工具：相容 MCP 的 Hugging Face Spaces，提供外部資料（例如，網路搜尋、天氣或時間）。

使用者可定義「個人設定」（個性），包含特定的系統提示與啟用的工具組，以改變機器人的行為。

適用對象

• 使用 Reachy Mini 硬體的機器人擁有者與開發者。
• 對具身智能與人機互動感興趣的 AI 研究人員。
• 希望使用基於 LLM 的工具呼叫來建構與測試自訂機器人行為的開發者。

主要特色

• 即時互動：低延遲的語音對話與視覺處理。
• 個性系統：可自訂的設定檔，包含獨特的指令與工具存取權限。
• 混合工具支援：同時支援用於硬體控制的本機 Python 工具與用於外部 API 存取的遠端 MCP 工具。
• 整合式運動：包含舞蹈與情緒表達的動作程式庫，可與語音融合。
• Web UI：可選的介面，用於管理個性、工具與設定。