livekit-examples/python-agents-examples

何を解決するか

このリポジトリは、音声、ビデオ、電話AIエージェントを開発する開発者向けの実行可能な例の包括的なライブラリを提供します。基本的なAPIドキュメントと本番環境対応の実装の間のギャップを埋め、音声を聞き、話す、視覚を認識し、外部システムと相互作用できるAIエージェントの実世界のパターンを示します。

動作方法

このプロジェクトは、2つの主要なセクションに分かれています：docs/examples/ にある焦点を絞った単一概念のデモと、complex-agents/ にあるフルスタックで本番風のアプリケーションです。LiveKit Agentsフレームワークを使用して、音声認識（STT）、大規模言語モデル（LLM）、音声合成（TTS）のパイプラインをオーケストレーションし、OpenAI、Anthropic、Google Gemini、Deepgramなどのさまざまなプロバイダーと統合しています。

対象ユーザー

AI音声アシスタント、自動電話システム（SIP）、視覚機能を備えたマルチモーダルエージェント、またはアニメーション化されたデジタルアバターをアプリケーションに統合したい開発者向けです。

主な特徴

• 多様なエージェントタイプ：SIP、リアルタイムビジョン、アニメーションアバター（Hedra、Tavus）の例を含みます。
• マルチエージェントオーケストレーション：通話中に専門的なエージェントに切り替える方法を示しています（例：医療トリージ、個人ショッピング）。
• パイプラインカスタマイズ：STT → LLM → TTSのフローを中継して内容フィルタリングや翻訳を実行する例があります。
• 外部統合：RAG（ベクトル検索）、Home Assistant、Model Context Protocol（MCP）クライアントをサポートしています。
• フルスタックデモ：Reactフロントエンドを含む完全なアプリケーション例として、音声駆動のD&D RPGや深層リサーチエージェントがあります。