livekit-examples/python-agents-examples

解決的問題

此倉儲為開發語音、視訊與電話AI代理的開發者提供了一個全面的可執行範例庫。它彌補了基礎API文件與生產就緒實作之間的差距，展現AI代理在現實世界中能聽、說、看並與外部系統互動的實際應用模式。

如何運作

此專案分為兩個主要部分：位於 docs/examples/ 的聚焦單一概念的示範（demo）與位於 complex-agents/ 的全端、生產風格應用。它利用 LiveKit Agents 框架來協調語音轉文字（STT）、大型語言模型（LLM）與文字轉語音（TTS）的流程，同時整合 OpenAI、Anthropic、Google Gemini 與 Deepgram 等多種提供者。

適用對象

希望在其應用中實作AI語音助理、自動電話系統（SIP）、具備視覺能力的多模態代理，或動畫數位形象的開發者。

主要亮點

• 多樣化的代理類型：包含 SIP、即時視覺與動畫形象（Hedra、Tavus）的範例。
• 多代理編排：示範如何在通話過程中切換至專門代理（例如醫療分診或個人購物）。
• 流程自訂：提供攔截並修改 STT → LLM → TTS 流程的範例，用於內容過濾或翻譯。
• 外部整合：支援 RAG（向量搜尋）、Home Assistant 與 Model Context Protocol（MCP）用戶端。
• 全端示範：包含 React 前端的完整應用，例如語音驅動的D&D角色扮演遊戲與深度研究代理。