pipecat-ai/pipecat

Open Source framework for voice agents, multimodal apps, and realtime AI. Maintained by Daily and the community.

Pipecat – 실시간 음성 및 멀티모달 AI 에이전트 프레임워크

Pipecat은 실시간으로 말하고, 듣고, 보고, 행동하는 대화형 에이전트를 조립할 수 있는 오픈소스 Python 라이브러리입니다. 음성 인식, 대규모 언어 모델(LLM) 백엔드, 음성 합성, 비전 모델, 사용자 정의 처리 단계를 구성 가능한 파이프라인으로 결합하기 위한 플러그 앤 플레이 아키텍처를 제공합니다. 파이프라인은 단일 에이전트 봇이거나 전문 에이전트가 인계하거나, 병렬로 실행하거나, 사이드카로 작동하고, 로컬 또는 머신 간에 분산될 수 있는 공유 버스를 통해 조정되는 완전한 멀티 에이전트 시스템일 수 있습니다.

Pipecat으로 구축할 수 있는 것

음성 비서 – 지원되는 모든 STT, LLM 및 TTS 서비스를 사용하는 스트리밍, 저지연 대화.
멀티 에이전트 시스템 – 인계하거나 팬아웃하는 전문 에이전트 체인으로, 복잡한 대화 흐름에 유용합니다.
AI 컴패니언 및 비즈니스 봇 – 코치, 회의 도우미, 고객 유입 흐름 등.
멀티모달 인터페이스 – 음성을 비디오, 이미지 또는 기타 미디어와 결합합니다.
인터랙티브 스토리텔링 – 게임 또는 창의적 도구를 위한 생성 미디어 파이프라인.
구조화된 대화 – 상태 저장, 사전 정의된 대화 경로를 제공하는 Pipecat Flows.

핵심 개념

아이디어	의미
음성 우선	단일 스트리밍 파이프라인에서 음성 인식, LLM 추론, 음성 합성에 대한 기본 지원을 제공합니다.
플러그 가능한 서비스	30개 이상의 STT, 30개 이상의 LLM, 30개 이상의 TTS 제공업체를 기본 지원합니다 (예: OpenAI Whisper, Anthropic, ElevenLabs, Azure, NVIDIA 등).
구성 가능한 파이프라인	파이프라인은 모듈식 프로세서로 구성되며, 원하는 서비스를 자유롭게 혼합하여 사용할 수 있습니다.
멀티 에이전트 준비	각 파이프라인은 에이전트가 될 수 있으며, 공유 버스를 통해 에이전트가 인계하거나, 사이드카로 실행하거나, 병렬로 팬아웃할 수 있습니다 (로컬 또는 프로세스/머신 간).
실시간	WebSocket 또는 WebRTC와 같은 초저지연 전송을 위해 설계되었습니다.

에코시스템 및 도구

클라이언트 SDK – JavaScript, React, React-Native, Swift, Kotlin, C++, ESP32용 공식 라이브러리로, 프론트엔드가 Pipecat 서버와 통신할 수 있습니다.
Pipecat CLI – pipecat init이 새 프로젝트를 스캐폴드하고 (코드 생성에 Claude Code 사용) 에이전트를 모니터링하고 배포하는 명령을 제공합니다.
Pipecat Flows – 저장소에 예제가 포함된 구조화된 대화 프레임워크.
Pipecat UI – 아름다운 음성 AI 프론트엔드를 구축하기 위한 컴포넌트 라이브러리 (shadcn 스타일).
Whisker – 파이프라인용 실시간 디버거.
Tail – 에이전트를 관찰하기 위한 터미널 대시보드.
스킬 마켓플레이스 – 코드 스캐폴딩, 배포, 새 서비스 추가가 가능한 Claude Code 플러그인.
커뮤니티 통합 – 자체 서비스 어댑터를 게시하기 위한 문서 및 가이드.
Pipecat TV – 데모, 인터뷰, 튜토리얼이 포함된 YouTube 재생 목록.

시작하기

# 라이브러리 및 CLI 설치 (uv는 선택 사항)
uv tool install "pipecat-ai[cli]"
# 빠른 프로젝트 스캐폴딩
pipecat init quickstart

빠른 시작 가이드는 1분 이내에 실행 가능한 봇을 안내합니다.

문서 및 리소스

전체 문서: https://docs.pipecat.ai
예제 저장소: https://github.com/pipecat-ai/pipecat-examples (챗봇, 스토리텔링, 비전, 번역 등)
Discord 커뮤니티: https://discord.gg/pipecat
PyPI 패키지: pipecat-ai

Pipecat은 누가 사용할까요?

음성 우선 소비자 앱 또는 엔터프라이즈 봇을 개발하는 개발자.
멀티모달 에이전트 아키텍처를 프로토타이핑하는 연구자.
글루 코드를 작성하지 않고 다양한 STT/LLM/TTS 제공업체를 실험할 수 있는 플러그 앤 플레이 방법이 필요한 팀.
여러 AI 서비스를 조정하여 일관된 대화 경험을 만들기 위한 실시간 확장 가능한 프레임워크가 필요한 모든 사람.

TL;DR

Pipecat은 지원되는 풍부한 음성, 언어, 비전 서비스 라이브러리, 구성 가능한 파이프라인, 클라이언트 SDK, CLI 도구, UI 컴포넌트, 디버깅 유틸리티의 완전한 에코시스템을 갖춘 스트리밍 음성 및 멀티모달 AI 에이전트를 빠르게 만들 수 있는 Python 프레임워크입니다.

링크

저장소: https://github.com/pipecat-ai/pipecat
문서: https://docs.pipecar.ai (원본의 오타 – 실제 링크는 https://docs.pipecat.ai)
Discord: https://discord.gg/pipecat