TEN-framework/ten-framework
Open-source framework for conversational voice AI agents
解决的问题
TEN 提供了一个用于构建实时多模态对话式 AI 代理的框架。它解决了创建低延迟助手的复杂性，这些助手能够同时处理音频、文本和视觉输入与输出，例如带有唇同步动画的语音助手或实时转录工具。
工作原理
TEN 作为一个可扩展的框架运行，开发者可以将各种扩展（如语音转文本 STT、大语言模型 LLM、文本转语音 TTS）串联起来。它支持 RTC 和 WebSocket 连接，并可与 ESP32-S3 等硬件集成。系统包含一个「TMAN Designer」，用于可视化配置代理属性和 API 密钥。
适用人群
专为开发交互式 AI 应用的开发者设计，涵盖从简单的语音助手和转录工具到复杂的多模态体验（如实时说话人分离或动画化身）等各类场景。
主要亮点
- 多模态支持：支持实时交互中的音频、文本和视觉数据处理。
- 低延迟：针对高质量实时对话体验进行了优化。
- 可扩展生态系统：包含专用工具（如语音活动检测 VAD 和发言权检测），支持全双工对话。
- 硬件集成：支持在 ESP32-S3 Korvo V3 等开发板上部署。
- 灵活部署：可通过 Docker 托管，或拆分为容器化后端与托管前端（如 Vercel/Netlify）。
相关
- 项目
- 项目
- 项目
- 项目
- 项目