KoljaB/RealtimeTTS

해결하는 문제

RealtimeTTS는 일반적으로 음성 합성(TTS) 시스템과 관련된 높은 지연을 해결하여 대화형 AI 애플리케이션에 적합합니다. 개발자들이 문자열, 제너레이터, 그리고 실시간 LLM 토큰 스트림을 실시간으로 음성으로 변환할 수 있게 하여 텍스트 생성과 음성 출력 사이의 간격을 줄입니다.

작동 방식

이 라이브러리는 방대한 TTS 엔진 매트릭스를 유연하게 감싸는 역할을 합니다. 텍스트 입력(예: LLM에서 오는 스트리밍 청크 포함)을 처리하여 선택된 엔진에 공급하여 음성을 생성합니다. 로컬 재생, 다른 프로세스로 음성 청크 스트리밍, WAV 파일로 출력하는 것을 모두 지원합니다. 지연을 최소화하기 위해 문장 분할과 같은 기술을 활용하며, GPU 또는 CPU에서 최적화된 네이티브 런타임으로 실행 가능한 고성능 엔진(Qwen 등)도 지원합니다.

대상 사용자

음성 기능을 갖춘 AI 에이전트, 대화형 봇, 그리고 동적 텍스트 소스로부터 저지연, 고품질 음성 합성을 필요로 하는 모든 애플리케이션을 개발하는 Python 개발자들을 위한 것입니다.

주요 특징

• 광범위한 엔진 지원: 로컬 시스템 음성, 클라우드 API(OpenAI, Azure, ElevenLabs), 로컬 신경망 모델(Qwen, Coqui, Piper)과 통합 가능.
• 저지연: LLM 출력을 스트리밍하기 위해 최적화되어 빠른 음성 발생을 보장.
• 보이스 클로닝: Qwen과 같은 호환 엔진을 통해 x-vector 및 ICL 보이스 클로닝 지원.
• 유연한 출력: 로컬 스피커 재생, WAV 파일 내보내기, 무음 합성 모두 지원.
• 회복성: 주 엔진이 실패했을 경우에도 합성을 계속할 수 있도록 백업 엔진 기능을 포함.