livekit/agents

它解决了什么问题

LiveKit Agents 提供了一个框架，用于构建在服务器上运行的实时、可编程参与者。它简化了创建多模态语音代理的过程，这些代理能够看见、听见并理解，同时处理低延迟交互所需的复杂基础设施。

它如何工作

该框架使用 AgentServer 来协调任务调度并启动用户会话的代理。开发者定义一个带有特定指令和工具的 Agent，而 AgentSession 负责管理交互。系统允许开发者混合搭配不同的语音转文本（STT）、大语言模型（LLM）和文本转语音（TTS）提供商，或使用统一的 API 来访问这些服务。它还与 WebRTC 客户端和电话栈（SIP）集成，支持语音通话。

适合谁使用

需要可扩展的、基于服务器的框架来管理实时多模态交互的开发者，例如构建对话式 AI 应用程序，如语音助手、外呼系统和 AI 虚拟形象。

主要特性

• 灵活的集成：支持多种 STT、LLM 和 TTS 提供商。
• 语义轮次检测：使用 Transformer 模型检测用户是否已停止说话，以减少打断。
• MCP 支持：原生集成 Model Context Protocol (MCP) 服务器，通过极少代码即可添加工具。
• 电话集成：可通过 SIP 发起和接收电话呼叫。
• 内置测试：提供原生测试框架，包含评判者（judges），用于验证非确定性 LLM 行为。
• 多代理交接：支持在不同专业代理之间转移用户会话。

"This framework makes it easy to build intelligent, real-time voice agents with minimal infrastructure overhead." — @livekit