pollen-robotics/reachy_mini_conversation_app

Reachy Mini 对话应用 – 它是什么

目的 – 一个 Python 应用，让你可以与 Reachy Mini 机器人对话。它将你的语音流式传输到 Hugging Face 实时语音模型，将转录文本发送给大语言模型（LLM）助手，并将助手的回复转化为机器人动作（舞蹈、头部运动、情绪等）。

关键能力

低延迟语音 – 使用 Hugging Face 的实时后端（或本地托管的端点）进行语音转文本和文本转语音。
视觉集成 – camera 工具可以捕获一帧并将其馈送到同一实时后端进行图像分析。
运动混合 – 队列系统处理高级动作（舞蹈、姿势、呼吸），而“摆动”层响应语音节奏。
工具生态系统 – LLM 可以调用一组工具（例如，dance、move_head、remember、网络搜索、天气），这些工具可以是本地 Python 模块或远程 Hugging Face Spaces。
个性配置文件 – 每个配置文件定义提示词、语音、问候语和默认工具；您可以通过可选的 Web UI 即时切换个性。
长期记忆 – 可选的关于用户的持久事实，助手可以在会话之间回忆。
本地 VAD 和打断 – 可选的 Silero 语音活动检测在设备上运行，以加快中断处理并实现更流畅的机器人聆听。

仓库中的图表（conversation_app_arch.svg）可视化了这些组件。

uv venv --python /opt/homebrew/bin/python3.12 .venv
source .venv/bin/activate
uv sync               # 安装运行时依赖
uv sync --group dev  # 安装开发工具（可选）

（或使用经典的 python -m venv + pip install -e . 工作流程。）

复制 .env.example → .env 并调整变量，例如：

在 Web UI 中编辑的设置会持久化到 settings.json，并覆盖 .env 默认值。

reachy-mini-conversation-app          # 仅控制台模式
reachy-mini-conversation-app --ui    # 同时启动 Web UI（http://127.0.0.1:7860/）

确保 Reachy Mini 守护进程首先运行；否则您将看到 TimeoutError。

CLI 标志允许您禁用相机（--no-camera）、选择网络上的特定机器人（--robot-name）或启用详细调试（--debug）。

工具	它做什么	它在哪里
`dance` / `stop_dance`	从公共舞蹈库数据集中排队或清除舞蹈序列。	核心安装
`play_emotion` / `stop_emotion`	从情绪库数据集中播放短情绪音频片段。	核心安装
`camera`	捕获一帧并通过实时后端运行（需要相机）。	核心安装
`move_head` / `head_tracking` / `sweep_look`	控制头部姿势或跟踪面部。	核心安装
`remember` / `forget`	存储或删除关于用户的短事实（持久化在 `memory.v1.json` 中）。	核心安装
`volume_control`	通过机器人守护进程获取/设置扬声器或麦克风音量。	核心安装
`robot_status`	查询机器人元数据（软件版本、Wi-Fi IP、IMU、已安装应用）。	核心安装
`pollen_robotics_reachy_mini_search_tool__search_web`	通过预先发布的 Hugging Face Space 进行网络搜索。	远程 Space
`pollen_robotics_reachy_mini_weather_tool__get_weather`	当前天气查询。	远程 Space
`pollen_robotics_reachy_mini_time_tool__get_time`	时区感知的时钟信息。	远程 Space
`pollen_robotics_reachy_mini_knowledge_tool__*`	公司/产品常见问题解答和文档搜索。	远程 Space

您可以通过创建一个继承 Tool 的 Python 模块并将其放置在 src/reachy_mini_conversation_app/tools/ 中来添加 本地工具。远程工具通过安装实现 MCP API 的 Hugging Face Space 来添加。

配置文件位于 profiles/ 下（或通过 REACHY_MINI_CUSTOM_PROFILE 指定的自定义目录）。每个配置文件包含一个 profile.md 文件，其中包含：

UI 允许您创建、选择和编辑配置文件，并为每个个性启用/禁用单个工具。

本地 VAD：Silero VAD 模型 v6.2.1 在首次运行时下载、缓存，并使用 ONNX Runtime 运行，以实现亚秒级检测。
打断：启用后，如果机器人检测到用户在说话，它会降低播放音量，从而实现平滑中断。
调试诊断：--debug 暴露 /static/vad-monitor.html 和 /rpc WebSocket，用于流式传输 VAD 概率和状态变化（有助于调整延迟）。
多机器人：使用 --robot-name 来寻址同一子网上的特定守护进程。

该仓库根据 MIT 许可证 发布（请参阅 LICENSE）。