livekit/agents-js

해결하는 문제

서버 측 환경에서 참여자로 작동하는 실시간 프로그래밍 가능 AI 에이전트를 구축하기 위한 프레임워크를 제공합니다. 특히 WebRTC를 사용하여 실시간으로 보고, 듣고, 이해할 수 있는 멀티모달 음성 에이전트를 생성할 때 발생하는 복잡성을 해결합니다.

작동 방식

이 프레임워크는 worker 기반 오케스트레이션 시스템을 사용하며, worker 프로세스가 LiveKit 서버에 연결하여 작업을 대기합니다. 사용자가 방에 입장하면 worker는 에이전트를 참여자로 인스턴스화합니다. 이러한 에이전트는 Speech-to-Text (STT), Large Language Models (LLM), Text-to-Speech (TTS) 플러그인과 자연스러운 대화 흐름을 관리하기 위한 Voice Activity Detection (VAD) 및 의미론적 턴 감지 기능을 결합하여 구축됩니다.

대상 사용자

다양한 플랫폼에서 낮은 지연 시간과 실시간 상호 작용이 필요한 대화형 AI 애플리케이션, 음성 비서, 멀티모달 에이전트를 구축하는 개발자.

주요 특징

• 플러그인 생태계: OpenAI, Google, Deepgram, ElevenLabs, Mistral AI와 같은 제공업체에 대한 광범위한 지원.
• 의미론적 턴 감지: transformer 모델을 사용하여 사용자가 발화를 마친 시점을 감지함으로써 중단을 줄입니다.
• MCP 지원: Model Context Protocol (MCP) 서버와의 네이티브 통합을 통해 최소한의 코드로 에이전트에 도구를 추가할 수 있습니다.
• 멀티 에이전트 핸드오프: 사용자 세션을 한 전문 에이전트에서 다른 에이전트로 전송하는 기능을 내장하고 있습니다.
• 오픈 소스: 오픈 소스 LiveKit 서버와 호환되어 완전한 자체 호스팅이 가능합니다.