pipecat-ai/pipecat-client-web

解决的问题

为使用 Pipecat 框架构建的语音和多模态 AI 机器人与 Web 应用程序之间的连接和通信提供标准化方式。消除了客户端管理设备媒体流、机器人配置和会话状态的复杂性。

工作原理

该项目是一个包含 JavaScript/TypeScript SDK（client-js）和一组 React 组件与钩子（client-react）的单体仓库。它作为用户浏览器与 Pipecat 服务器之间的桥梁。要正常运行，需要一个独立的传输实现（如通过 Daily 的 WebRTC）来处理音频和视频数据的实际传输。

它还实现了 UI Worker Protocol（v1），允许服务器端 AI 工作线程通过结构化数据格式（包括可访问性快照流和 UI 命令处理）观察并驱动 Web 应用程序的 GUI。

适用人群

需要实时音频、视频和交互式 UI 同步的多模态 AI 代理的 Web 界面开发者。

主要亮点

• 双包支持：提供原生 JS/TS SDK 和专用 React 绑定。
• UI Worker Protocol：使服务器端机器人能够与客户端 GUI 交互并控制它。
• 传输无关性：使用基础 Transport 类，允许开发者插入不同的媒体提供者。
• 会话管理：内置对机器人连接、媒体流管理及错误状态的处理。