livekit/agents
A framework for building realtime voice AI agents 🤖🎙️📹
解決的問題
LiveKit Agents 提供了一個用於構建在伺服器上運行的即時、可編程 AI 參與者的框架。它簡化了能夠看、聽和理解的多模態語音代理人之創建，同時處理了伺服器端執行與用戶連接的複雜性。
工作原理
該框架使用 AgentServer 來協調任務調度並為用戶對話啟動代理人。開發人員定義具有特定指令與工具的 Agent，並由 AgentSession 管理互動。該系統允許開發人員透過靈活的插件系統混合使用各種語音轉文字 (STT)、大型語言模型 (LLM) 與文字轉語音 (TTS) 提供商，或者使用託管模型的統一 API。
適用對象
構建即時 AI 語音助手、多模態代理人以及需要低延遲互動與伺服器端編排的電話整合 AI 應用程式的開發人員。
亮點
- 靈活的整合：可以混合使用 STT、LLM 與 TTS 提供商以適應特定的使用案例。
- 電話整合：透過 LiveKit 的 SIP 堆疊將代理人無縫連接到電話通話。
- 語義輪次檢測 (Semantic Turn Detection)：使用 Transformer 模型透過檢測用戶何時完成說話來減少中斷。
- MCP 支援：與 Model Context Protocol (MCP) 伺服器原生整合，只需極少量的程式碼即可新增工具。
- 內建測試：包含帶有基於 LLM 評判者的測試框架，以確保代理人之性能。
- 多代理人交接：支援在不同的專業代理人之間進行互動切換。