pollen-robotics/reachy_mini_conversation_app

解决的问题

该项目为 Reachy Mini 机器人提供了一个对话式接口，使其能够通过实时语音、视觉和物理运动与人类互动。它弥合了高级 AI 推理（LLM）与物理机器人硬件之间的差距，使机器人能够基于自然语言对话表达情感、跳舞并执行任务。

工作原理

该应用将用户连接到实时 AI 后端（通过 Hugging Face）和机器人的硬件。它采用分层运动系统，将语音响应动作（如晃动）与排队的主要动作（如舞蹈或特定姿势）相结合。

它采用基于工具的架构，AI 助手可以触发特定功能：

• 本地工具：控制机器人硬件的 Python 模块（例如，移动头部、捕获摄像头帧）。
• 远程工具：兼容 MCP 的 Hugging Face Spaces，提供外部数据（例如，网络搜索、天气或时间）。

用户可以定义“配置文件”（个性），包含特定的系统提示和启用的工具集，以改变机器人的行为。

适用人群

• 使用 Reachy Mini 硬件的机器人所有者和开发者。
• 对具身智能和人机交互感兴趣的 AI 研究人员。
• 希望使用基于 LLM 的工具调用构建和测试自定义机器人行为的开发者。

主要亮点

• 实时交互：低延迟的语音对话和视觉处理。
• 个性系统：可自定义的配置文件，包含独特的指令和工具访问权限。
• 混合工具支持：同时支持用于硬件控制的本地 Python 工具和用于外部 API 访问的远程 MCP 工具。
• 集成运动：包含舞蹈和情感表达的运动库，可与语音融合。
• Web UI：可选的界面，用于管理个性、工具和设置。