pipecat-ai/pipecat-client-web

解決的問題

提供標準化方式，讓 Web 應用程式能與使用 Pipecat 框架建構的語音與多模態 AI 機器人連接並通訊。消除客戶端管理裝置媒體串流、機器人設定與會話狀態的複雜性。

工作原理

此專案為包含 JavaScript/TypeScript SDK（client-js）與一組 React 組件與 Hook（client-react）的單體倉儲。它作為使用者瀏覽器與 Pipecat 伺服器之間的橋樑。要運作，需額外的傳輸實作（例如透過 Daily 的 WebRTC）來處理音訊與視訊資料的實際傳輸。

同時實作 UI Worker Protocol（v1），讓伺服器端 AI 工作者能透過結構化資料格式（包含可存取性快照串流與 UI 命令處理）觀察並驅動 Web 應用程式的 GUI。

適用對象

開發需要即時音訊、視訊與互動式 UI 同步的多模態 AI 代理 Web 界面的開發者。

主要特色

• 雙套件支援：提供原生 JS/TS SDK 與專用 React 繫結。
• UI Worker Protocol：讓伺服器端機器人能與客戶端 GUI 互動並控制它。
• 傳輸無關：使用基礎 Transport 類別，讓開發者可插入不同的媒體提供者。
• 會話管理：內建機器人連線、媒體串流管理與錯誤狀態處理。