pipecat-ai/pipecat

Pipecat – 实时语音与多模态 AI 代理框架

Pipecat 是一个开源 Python 库，可让您构建能够实时说话、聆听、观看和行动的对话代理。它提供即插即用架构，将语音转文本、大语言模型 (LLM) 后端、文本转语音、视觉模型和自定义处理步骤整合到可组合的管道中。管道可以是单一代理机器人，也可以是完整的多人代理系统，其中专门的代理可以交接、并行运行或充当副驾驶，所有操作都通过共享总线协调，该总线可以是本地的，也可以跨机器分布。

---

使用 Pipecat 可以构建什么

• 语音助手 – 由任何受支持的 STT、LLM 和 TTS 服务驱动的流式、低延迟对话。
• 多代理系统 – 相互交接或扇出的专业代理链，适用于复杂的对话流程。
• AI 伴侣和企业机器人 – 教练、会议助手、客户获取流程等。
• 多模态界面 – 将语音与视频、图像或其他媒体相结合。
• 交互式叙事 – 用于游戏或创意工具生成式媒体管道。
• 结构化对话 – Pipecat Flows 提供有状态、预定义的对话路径。

---

核心概念

理念	含义
语音优先	在单一流式管道中提供对语音识别、LLM 推理和文本转语音的内置支持。
可插拔服务	超 30 个 STT、30 个 LLM 和 30 个 TTS 提供商开箱即用（例如 OpenAI Whisper、Anthropic、ElevenLabs、Azure、NVIDIA 等）。
可组合管道	管道由模块化处理器组成；您可以任意混搭服务。
多代理就绪	每个管道都可以充当代理；共享总线允许代理交接、运行副驾驶或并行扇出，可以在本地或跨进程/机器。
实时性	专为 WebSocket 或 WebRTC 等超低延迟传输设计。

---

生态系统与工具

• 客户端 SDK – 适用于 JavaScript、React、React-Native、Swift、Kotlin、C++ 甚至 ESP32 的官方库，使前端能够与 Pipecat 服务器通信。
• Pipecat CLI – pipecat init 可搭建新项目（使用 Claude Code 进行代码生成），并提供监控和部署代理的命令。
• Pipecat Flows – 结构化对话框架，仓库中包含示例。
• Pipecat UI – 用于构建精美语音 AI 前端的组件库（shadcn 风格）。
• Whisker – 实时管道调试器。
• Tail – 用于观察代理的终端仪表板。
• 技能市场 – 可以搭建、部署或添加新服务的 Claude Code 插件。
• 社区集成 – 用于发布您自己的服务适配器的文档和指南。
• Pipecat TV – 包含演示、访谈和教程的 YouTube 播放列表。

---

快速开始

# 安装库和 CLI（uv 是可选的）
uv tool install "pipecat-ai[cli]"
# 搭建快速项目
pipecat init quickstart

快速入门指南将引导您在不到一分钟内构建一个可运行的机器人。

---

文档和资源

• 完整文档： https://docs.pipecat.ai
• 示例仓库： https://github.com/pipecat-ai/pipecat-examples （聊天机器人、叙事、视觉、翻译等）
• Discord 社区： https://discord.gg/pipecat
• PyPI 包： pipecat-ai

---

谁可能使用 Pipecat？

• 构建语音优先消费类应用或企业机器人的开发者。
• 对多模态代理架构进行原型设计的研究人员。
• 需要一种即插即用的方式来尝试多种 STT/LLM/TTS 提供商而无需编写粘合代码的团队。
• 任何需要实时、可扩展框架来协调多个 AI 服务以形成连贯对话体验的人。

---

TL;DR

Pipecat 是一个 Python 框架，可让您快速创建流式语音和多模态 AI 代理，它拥有丰富的受支持语音、语言和视觉服务库、可组合管道以及完整的客户端 SDK、CLI 工具、UI 组件和调试实用程序生态系统。

---

链接

• 仓库： https://github.com/pipecat-ai/pipecat
• 文档： https://docs.pipecar.ai （原文拼写错误 – 实际链接为 https://docs.pipecat.ai）
• Discord： https://discord.gg/pipecat