TEN-framework/ten-framework

Open-source framework for conversational voice AI agents

해결하는 문제

TEN은 실시간 다중 모달 대화형 AI 에이전트를 구축하기 위한 프레임워크를 제공합니다. 음성, 텍스트, 시각 정보를 동시에 처리할 수 있는 저지연 보조 도구를 개발하는 복잡성을 해결하며, 리핑싱크가 가능한 아바타가 있는 음성 보조 도구나 실시간 번역 도구와 같은 사례를 가능하게 합니다.

작동 방식

TEN은 개발자가 음성-텍스트 변환(STT), 대규모 언어 모델(LLM), 텍스트-음성 변환(TTS) 등의 다양한 확장 기능을 연결할 수 있는 확장 가능한 프레임워크로 작동합니다. RTC 및 WebSocket 연결을 지원하며, ESP32-S3와 같은 하드웨어와 통합할 수 있습니다. 시스템에는 에이전트 속성과 API 키를 시각적으로 구성할 수 있는 "TMAN Designer"가 포함되어 있습니다.

대상 사용자

간단한 음성 보조 도구나 번역 도구부터 실시간 화자 구분 또는 애니메이션 아바타와 같은 복잡한 다중 모달 경험까지 구축하는 개발자들을 위한 것입니다.

주요 특징

다중 모달 지원: 실시간 상호작용을 위한 음성, 텍스트, 시각 데이터 처리 가능.
저지연: 고품질 실시간 대화 경험을 최적화.
확장 가능한 생태계: 완전한 이중 방향 대화를 가능하게 하는 음성 활동 탐지(VAD) 및 대화 전환 탐지 도구 포함.
하드웨어 통합: ESP32-S3 Korvo V3와 같은 개발 보드에서 배포 가능.
유연한 배포: Docker를 통해 호스팅하거나, 컨테이너화된 백엔드와 호스팅된 프론트엔드(Vercel/Netlify 등)로 분리 배포 가능.

TEN-framework/ten-framework

해결하는 문제

작동 방식

대상 사용자

주요 특징

관련