uezo/aiavatarkit

解决的问题

AIAvatarKit 提供了一个框架，用于构建可在多个渠道（Web、移动设备、电话和硬件设备）上运行的低延迟对话式 AI 虚拟形象。它解决了在语音活动检测（VAD）、语音转文本（STT）、大语言模型（LLM）和文本转语音（TTS）之间协调处理流程的复杂性，同时保持响应迅速、类人化的对话流。

工作原理

该项目使用一个模块化的 STSPipeline（语音到语音）管道，将数据流经四个主要阶段：

1. VAD：检测用户是否在说话，并使用语义门控（例如 Namo Turn）来判断用户是否真正完成其想法，从而管理对话轮次。
2. STT：使用 Azure、Google 或 OpenAI 等服务将音频转换为文本。
3. LLM/代理：处理文本并生成响应，支持工具调用和 MCP（模型上下文协议）以访问外部数据。
4. TTS：使用 VOICEVOX、ElevenLabs 或 Azure 等服务将响应转换回音频。

适配器封装此管道，实现跨渠道部署，使用户在不同界面间切换（例如从电话通话切换到 LINE 机器人）时，对话仍能持续进行。

适用人群

为 Web/移动应用构建交互式 AI 角色的开发者，数字标牌用的虚拟店员，Raspberry Pi 等配套硬件，VRChat 等元宇宙虚拟形象，或 AI 驱动的电话客服人员的开发者。

主要亮点

• 超低延迟：从语音结束到首次音频输出实现 1 秒以内的响应时间。
• 模块化架构：VAD、STT、LLM、TTS 所有组件均可替换，开发者无需重写系统即可升级模型或语音。
• 全渠道支持：单一管道可支持 WebSocket、HTTP、电话通信（Twilio/Asterisk）和消息应用（LINE）。
• 多模态表现力：支持由 LLM 触发的面部表情、动画和屏幕内元素（如图表或地图）。
• 生产就绪：包含管理面板，支持实时配置、日志、指标和防护机制，可在对话中途中断以纠正错误。