agents: とは何なのか、どのような問題を解決し、なぜ注目を集めているのか

解決する問題

LiveKit Agents は、音声、テキスト、およびビジョンを通じてユーザーと対話できる、リアルタイムでプログラマブルな AI 参加者を作成するためのフレームワークを提供します。低遅延の通信に必要な複雑なインフラストラクチャを処理することで、リアルタイムで見て、聞き、理解できるマルチモーダルなエージェントを作成するプロセスを簡素化します。

仕組み

このフレームワークを使用すると、開発者は特定の指示とツールを備えた Agent を定義し、AgentSession を介してそれらを管理できます。AgentServer を使用して、ジョブのスケジューリングとユーザーセッション用のエージェントの起動を調整します。開発者は、さまざまな Speech-to-Text (STT)、Large Language Models (LLM)、および Text-to-Speech (TTS) プロバイダー（OpenAI、Deepgram、Cartesia など）を自由に組み合わせたり、統合された推論 API を使用したりできます。WebRTC を使用して低遅延のメディア転送を行い、電話での対話のために電話回線（SIP）をサポートしています。

対象者

音声アシスタント、自動カスタマーサービスエージェント、インタラクティブな AI アバターなど、対話型 AI アプリケーションを構築する開発者向けに設計されています。

ハイライト

• マルチモーダル機能: 音声、テキスト、およびビジョン（例：Gemini Live vision）をサポート。
• 柔軟な統合: STT、LLM、および TTS プロバイダーを簡単に切り替え可能。
• セマンティック・ターン検出: トランスフォーマーモデルを使用して、ユーザーが話し終えたタイミングを検出し、割り込みを減らします。
• MCP サポート: Model Context Protocol (MCP) サーバーとのネイティブな統合により、最小限のコードでツールを追加可能。
• 電話回線統合: SIP を介して電話の発着信が可能。
• 組み込みのテスト機能: 非決定論的な LLM の挙動を検証するための「judge」を備えたテストフレームワークが含まれています。