livekit/agents

解決的問題

LiveKit Agents 提供了一個框架，用於在伺服器上建立即時、可程式設計的參與者。它簡化了多模態語音代理的建立，這些代理能夠看見、聽見並理解，同時處理低延遲互動所需的複雜基礎設施。

工作原理

該框架使用 AgentServer 協調工作排程並啟動使用者會話的代理。開發者定義具有特定指示和工具的 Agent，而 AgentSession 則管理互動。系統允許開發者混合搭配不同的語音轉文字（STT）、大型語言模型（LLM）和文字轉語音（TTS）提供者，或使用統一的 API 來使用這些服務。它還與 WebRTC 客戶端和電話交換系統（SIP）整合，以支援語音通話。

適用對象

需要可擴展的伺服器端框架來管理即時多模態互動的開發者，例如建立對話式 AI 應用程式，如語音助理、外撥呼叫者和 AI 虛擬形象。

主要特色

• 彈性整合：支援多種 STT、LLM 和 TTS 提供者。
• 語義換句檢測：使用轉換器模型檢測使用者是否已結束說話，以減少中斷。
• MCP 支援：原生整合 Model Context Protocol (MCP) 伺服器，以最少的程式碼新增工具。
• 電話整合：可透過 SIP 發起和接收電話通話。
• 內建測試：內建的測試框架，搭配評審機制，用以驗證非決定性 LLM 行為。
• 多代理轉交：支援將使用者會話在不同專用代理之間轉交。

"這是一個強大且靈活的框架，讓開發者能輕鬆建立即時語音代理。" — @livekit