livekit/agents

A framework for building realtime voice AI agents 🤖🎙️📹

解决的问题

LiveKit Agents 提供了一个用于构建在服务器上运行的实时、可编程 AI 参与者的框架。它简化了能够看、听和理解的多模态语音智能体的创建，同时处理了服务端执行和用户连接的复杂性。

工作原理

该框架使用 AgentServer 来协调任务调度并为用户会话启动智能体。开发人员定义具有特定指令和工具的 Agent，并由 AgentSession 管理交互。该系统允许开发人员通过灵活的插件系统混合使用各种语音转文本 (STT)、大语言模型 (LLM) 和文本转语音 (TTS) 提供商，或者使用托管模型的统一 API。

适用对象

构建实时 AI 语音助手、多模态智能体以及需要低延迟交互和服务端编排的电话集成 AI 应用的开发人员。

亮点

  • 灵活的集成：可以混合使用 STT、LLM 和 TTS 提供商以适应特定的用例。
  • 电话集成：通过 LiveKit 的 SIP 栈将智能体无缝连接到电话通话。
  • 语义轮次检测 (Semantic Turn Detection)：使用 Transformer 模型通过检测用户何时完成讲话来减少中断。
  • MCP 支持：与 Model Context Protocol (MCP) 服务器原生集成，只需极少量的代码即可添加工具。
  • 内置测试：包含带有基于 LLM 的评判者的测试框架，以确保智能体的性能。
  • 多智能体交接：支持在不同的专业智能体之间进行交互切换。