pipecat-ai/pipecat-client-web

何を解決するか

Pipecatフレームワークを使用して構築された音声およびマルチモーダルAIボットとWebアプリケーションが接続・通信するための標準化された方法を提供します。クライアント側でのデバイスメディアストリーム、ボット設定、セッション状態の管理の複雑さを排除します。

動作方法

このプロジェクトは、JavaScript/TypeScript SDK（client-js）とReactコンポーネントおよびフック（client-react）のセットを含むモノレポです。ユーザーのブラウザとPipecatサーバーの間のブリッジとして機能します。実際に音声および動画データを送信するには、WebRTC（Dailyなど）などの別途のトランスポート実装が必要です。

また、UI Worker Protocol（v1）を実装しており、サーバーサイドのAIワーカーが構造化されたワイヤフォーマット（アクセシビリティスナップショットストリーミングやUIコマンド処理を含む）を通じてWebアプリケーションのGUIを観察・制御できるようにします。

対象ユーザー

リアルタイム音声・動画・インタラクティブUIの同期を必要とするマルチモーダルAIエージェントのWebベースインターフェースを開発する開発者

特徴

• 二重パッケージ対応：Vanilla JS/TS SDKと専用のReactバインディングの両方を提供。
• UI Worker Protocol：サーバーサイドのボットがクライアント側GUIと相互作用・制御できるようにします。
• トランスポート非依存：基本のTransportクラスを使用し、開発者が異なるメディアプロバイダーを挿入可能。
• セッション管理：ボット接続、メディアストリーム管理、エラー状態の組み込み対応。