KoljaB/RealtimeTTS

해결하는 문제

RealtimeTTS는 텍스트에서 음성으로 변환(TTS) 시스템에서 일반적으로 발생하는 높은 지연을 해결합니다. 특히 문자열, 제너레이터, 또는 실시간 LLM 토큰 스트림을 음성으로 변환해야 하는 실시간 애플리케이션을 위한 것입니다. 스트리밍 오디오 재생과 엔진 관리의 복잡성을 통합된 인터페이스로 처리합니다.

작동 방식

이 라이브러리는 다양한 TTS 엔진을 래핑하는 것으로, 텍스트를 스트림에 공급하여 로컬 재생, 다른 프로세스로 스트리밍, 또는 WAV 파일로 저장할 수 있습니다. 동기 및 비동기 재생을 지원하며, 이터레이터를 통해 텍스트가 청크 단위로 도착할 경우에도 가능한 한 빨리 음성 재생을 시작할 수 있습니다. 또한 발화 흐름을 최적화하기 위한 문장 분할 로직도 포함되어 있습니다.

대상 사용자

대화형 AI, 음성 어시스턴트, 또는 동적 텍스트 소스로부터 저지연, 고품질 음성 합성을 필요로 하는 애플리케이션을 개발하는 개발자들을 위한 것입니다.

주요 특징

• 광범위한 엔진 지원: 로컬 신경 모델(QwenEngine, Coqui 등), 클라우드 API(OpenAI, Azure, Elevenlabs), 시스템 음성과 통합 가능.
• 저지연: 추천되는 QwenEngine을 사용하면 "첫 번째 토큰까지의 시간"(TTFT)이 빠르고, 청각적 시작 지연이 최소화됩니다.
• 유연한 출력: 로컬 스피커 재생, WAV 파일 내보내기, 프로덕션 환경용 헤드리스 HTTP 서버 모드를 지원합니다.
• 고급 제어 기능: 음성 클론, 신뢰성 향상을 위한 백업 엔진, 단어 타이밍 및 오디오 청크에 대한 세부 콜백 기능 포함.
• LLM 통합: LLM에서 오는 토큰 스트림을 처리하도록 특별히 설계되어, 텍스트 생성과 음성 사이의 간격을 최소화합니다.