livekit/agents-js

解决的问题

它提供了一个用于构建实时、可编程 AI 代理的框架，这些代理作为服务器端环境中的参与者运行。它专门解决了创建能够使用 WebRTC 实时视觉、听觉和理解的多模态语音代理的复杂性。

运作方式

该框架使用基于 worker 的编排系统，其中 worker 进程连接到 LiveKit 服务器并等待任务。当用户加入房间时，worker 会实例化一个代理作为参与者。这些代理是通过结合语音转文字 (STT)、大型语言模型 (LLM) 和文字转语音 (TTS) 的插件，以及语音活动检测 (VAD) 和语义轮次检测来管理自然对话流程而构建的。

目标用户

开发需要低延迟、实时交互的对话式 AI 应用程序、语音助手和多模态代理的开发者。

特点

• 插件生态系统：广泛支持 OpenAI、Google、Deepgram、ElevenLabs 和 Mistral AI 等提供商。
• 语义轮次检测：使用 transformer 模型通过检测用户何时结束发言来减少中断。
• MCP 支持：与 Model Context Protocol (MCP) 服务器原生集成，以最少的代码为代理添加工具。
• 多代理移交：内置将用户会话从一个专业代理转移到另一个代理的功能。
• 开源：与开源 LiveKit 服务器兼容，支持完全自托管。