pipecat-ai/pipecat
Open Source framework for voice agents, multimodal apps, and realtime AI. Maintained by Daily and the community.
해결하는 문제
Pipecat은 실시간 다중 모달 대화형 AI 에이전트를 쉽게 구축할 수 있도록 설계된 프레임워크입니다. 오디오, 비디오, AI 서비스를 조율하는 복잡성을 제거하여 개발자가 단순한 음성 보조기부터 서로 다른 프로세스나 머신 간에 협력할 수 있는 복잡한 다중 에이전트 시스템까지 구축할 수 있도록 합니다.
작동 방식
Pipecat은 모듈식이고 조합 가능한 파이프라인 아키텍처를 사용합니다. 각 에이전트는 음성 인식(STT), 대규모 언어 모델(LLM), 음성 합성(TTS), 또는 직접적인 음성 대 음성 서비스를 통합하는 플러그인 가능한 서비스로 표현됩니다. 이러한 파이프라인은 전문 에이전트 간의 인수인계, 병렬 실행(팬아웃), 사이드카 워커 패턴을 가능하게 하며, WebRTC 및 WebSocket과 같은 전송 수단을 통해 초저지연을 유지합니다.
대상 사용자
음성 중심의 AI 애플리케이션을 개발하는 개발자들을 위한 것입니다. AI 동반자, 비즈니스 지원 봇, 인터랙티브 스토리텔링 도구, 복잡한 대화 시스템 등이 해당됩니다.
주요 특징
- 다중 에이전트 조율: 인수인계, 병렬 팬아웃, 공유 버스를 통한 분산 배포를 지원합니다.
- 음성 중심 통합: 다양한 STT, LLM, TTS 제공업체를 내장 지원합니다.
- 실시간 성능: 초저지연 상호작용을 최적화합니다.
- 풍부한 생태계: 여러 플랫폼(JS, React, Swift, Kotlin, C++)용 클라이언트 SDK, 프로젝트 스크래핑을 위한 CLI, 실시간 디버거(Whisker)가 포함되어 있습니다.
관련
- 프로젝트
pipecat-ai/pipecat-examplesA collection of intermediate and advanced example applications demonstrating how to build voice and multimodal AI agents using the Pipecat framework.
- 프로젝트
- 프로젝트
uezo/aiavatarkitA modular framework for building ultra-low latency conversational AI avatars that integrate VAD, STT, LLM, and TTS across multiple channels like web, phone, and hardware.
- 프로젝트
livekit/agents보고, 듣고, 말할 수 있는 실시간 프로그래밍 가능 멀티모달 AI 에이전트를 구축하기 위한 프레임워크로, 통합된 작업 스케줄링 및 전화 지원 기능을 제공합니다.
- 프로젝트
huggingface/speech-to-speechSpeech‑to‑Speech is a Hugging Face open‑source pipeline that turns spoken input into spoken output. It chains VAD → STT → LLM → TTS, each component being swappable (Silero VAD, Parakeet/Faster‑Whisper/Whisper STT, any OpenAI‑compatible LLM or local Transformers/MLX model, Qwen3‑TTS or other TTS back‑ends). The whole system speaks the OpenAI Realtime protocol over WebSocket/WebRTC, so existing OpenAI Agents SDK code works. Install with a single `pip install speech-to-speech`, then run `speech-to-speech serve` (server) and `speech-to-speech talk` (client) or `speech-to-speech local` (both together). It supports local‑only operation, mixed local/hosted LLMs, Docker deployment, and optional extras for alternative TTS/STT models. Designed for voice‑assistant robots (e.g., Reachy Mini) and low‑latency spoken AI applications.