livekit/agents-js

何を解決するか

リアルタイムでプログラム可能なAI参加者（エージェント）をサーバー上で実行するためのフレームワークを提供します。ライブ環境でユーザーの音声・視覚・理解を処理できるマルチモーダル音声エージェントの構築における複雑さに特化しています。

動作方法

このフレームワークはLiveKit AgentsフレームワークのNode.js版として動作します。ジョブスケジューリングとユーザーセッション用エージェントの起動を調整する「Worker」プロセスを使用しています。ユーザーがルームに参加すると、LiveKitサーバーがジョブをWorkerに割り当て、そのルームにエージェントを参加者としてインスタンス化します。

エージェントは以下のプラグインを組み合わせて構築されます：

• STT（音声認識）：ユーザーの音声をテキストに変換。
• LLM（大規模言語モデル）：入力を処理し、応答を生成。
• TTS（テキスト音声変換）：テキストを音声に戻す。
• VAD（音声活動検出）：ユーザーが話しているタイミングを検出。

また、トランスフォーマーモデルによる意味的ターン検出をサポートし、中断を低減。外部ツールとの統合を可能にするネイティブなMCP（Model Context Protocol）サポートも提供しています。

対象ユーザー

リアルタイム音声AIアプリケーション、会話型アシスタント、低レイテンシのWebRTC経由で対話が必要なマルチモーダルAIエージェントを開発する開発者。

特徴

• 柔軟なプラグインエコシステム：OpenAI、Google、Deepgram、ElevenLabs、Mistral AIなどのプロバイダーを自由に組み合わせ可能。
• マルチエージェントのシームレスな引き継ぎ：ユーザーのセッションを、専門的なエージェントから別のエージェントへ移行可能。
• プロダクション対応のオーケストレーション：状態保持セッションのSIGTERM処理を内蔵し、スケーラブルなWorker-Jobシステムを提供。
• WebRTC統合：LiveKitのオープンソースメディアサーバーおよびクライアントSDKとシームレスに連携。