livekit/agents-js

解決する課題

サーバーサイド環境で参加者として機能する、リアルタイムでプログラム可能なAIエージェントを構築するためのフレームワークを提供します。特に、WebRTCを使用してリアルタイムで見て、聞いて、理解できるマルチモーダル音声エージェントを作成する際の複雑な課題に対処します。

仕組み

このフレームワークは、workerベースのオーケストレーションシステムを使用しており、workerプロセスがLiveKitサーバーに接続してジョブを待機します。ユーザーがルームに参加すると、workerはエージェントを参加者としてインスタンス化します。これらのエージェントは、Speech-to-Text (STT)、Large Language Models (LLM)、Text-to-Speech (TTS) のプラグインと、自然な会話フローを管理するためのVoice Activity Detection (VAD) およびセマンティック・ターン検出を組み合わせて構築されます。

対象ユーザー

低遅延でリアルタイムな対話が必要な会話型AIアプリケーション、音声アシスタント、マルチモーダルエージェントを構築する開発者。

特徴

• プラグインエコシステム: OpenAI、Google、Deepgram、ElevenLabs、Mistral AI などのプロバイダーを幅広くサポート。
• セマンティック・ターン検出: transformerモデルを使用して、ユーザーが発話を終えたタイミングを検出し、割り込みを低減します。
• MCPサポート: Model Context Protocol (MCP) サーバーとのネイティブ統合により、最小限のコードでエージェントにツールを追加可能。
• マルチエージェントハンドオフ: ユーザーセッションをある専門エージェントから別のエージェントへ転送する機能を内蔵。
• オープンソース: オープンソースのLiveKitサーバーと互換性があり、完全なセルフホスティングが可能。