pipecat-ai/pipecat-client-web

해결하는 문제

Pipecat 프레임워크를 사용하여 구축된 음성 및 멀티모달 AI 봇과 웹 애플리케이션 간의 연결 및 통신을 위한 표준화된 방법을 제공합니다. 클라이언트 측에서 장치 미디어 스트림, 봇 구성, 세션 상태를 관리하는 복잡성을 제거합니다.

작동 방식

이 프로젝트는 JavaScript/TypeScript SDK(client-js)와 React 컴포넌트 및 훅(client-react)을 포함하는 모노레포입니다. 사용자의 브라우저와 Pipecat 서버 사이의 브리지 역할을 합니다. 실제로 오디오 및 비디오 데이터를 전송하려면 WebRTC(예: Daily)와 같은 별도의 전송 구현이 필요합니다.

또한 UI Worker Protocol(v1)을 구현하여 서버 측 AI 워커가 구조화된 와이어 포맷(접근성 스냅샷 스트리밍 및 UI 명령 처리 포함)을 통해 웹 애플리케이션의 GUI를 관찰하고 제어할 수 있도록 합니다.

대상 사용자

실시간 오디오, 비디오 및 상호작용 UI 동기화가 필요한 멀티모달 AI 에이전트의 웹 기반 인터페이스를 개발하는 개발자들

주요 특징

• 이중 패키지 지원: 범용 JS/TS SDK와 전용 React 바인딩 모두 제공.
• UI Worker Protocol: 서버 측 봇이 클라이언트 측 GUI와 상호작용하고 제어할 수 있도록 합니다.
• 전송 매체 독립성: 기본 Transport 클래스를 사용하여 개발자가 다양한 미디어 제공자를 연결할 수 있습니다.
• 세션 관리: 봇 연결, 미디어 스트림 관리, 오류 상태 처리를 내장된 방식으로 지원.