agents: 一個用於建立具備整合式工作排程功能的即時可程式化多模態語音代理框架

它解決了什麼問題

LiveKit Agents 提供了一個框架，用於建立在伺服器上運行的即時、可程式化 AI 參與者。它簡化了建立具備視覺、聽覺與理解能力的多模態語音代理的過程，同時處理伺服器端執行與使用者連線的複雜性。

運作方式

該框架使用 AgentServer 來協調工作排程並為使用者工作階段啟動代理。開發者可以定義具有特定指令與工具的 Agent，並由 AgentSession 管理互動。系統允許開發者透過靈活的插件系統混合搭配各種 Speech-to-Text (STT)、Large Language Model (LLM) 與 Text-to-Speech (TTS) 提供者，或者使用統一的 API 來使用託管模型。

對象是誰

正在開發即時 AI 語音助手、多模態代理以及需要低延遲互動與伺服器端編排功能的電話整合型 AI 應用程式的開發者。

重點功能

• 靈活的整合：混合搭配 STT、LLM 與 TTS 提供者以符合特定使用案例。
• 電話整合：透過 LiveKit 的 SIP stack 無縫地將代理連接到電話通話。
• 語義輪次檢測：使用 transformer 模型來減少中斷，透過檢測使用者何時說完話來達成。
• MCP Support：與 Model Context Protocol (MCP) 伺服器原生整合，以最少的程式碼增加工具。
• 內建測試：包含一個具有基於 LLM 的裁判系統的測試框架，以確保代理的效能。
• 多代理交接：支援在不同的專業代理之間轉換互動。