ChatTTS: 무엇인지, 어떤 문제를 해결하는지 & 왜 인기를 얻고 있는지

해결하는 문제

ChatTTS는 LLM 어시스턴트와 같은 일상적인 대화 시나리오를 위해 특별히 설계된 생성형 음성 모델입니다. 기존의 TTS 모델들이 종종 로봇처럼 들리거나 인간의 대화적 뉘앙스가 부족한 것과 달리, 더 자연스럽고 표현력이 풍부한 음성 합성을 제공하는 것을 목표로 합니다.

작동 방식

ChatTTS는 텍스트로부터 오디오를 생성하기 위해 자기회귀(autoregressive) 방식의 시스템을 사용합니다. 이 모델은 100,000시간 이상의 중국어 및 영어 오디오 데이터로 학습되었습니다. 오픈 소스 버전은 40,000시간의 데이터에 기반한 사전 학습된 모델입니다. 특수 토큰(예: [laugh], [uv_break], [lbreak])을 통해 운율적 특징을 세밀하게 제어할 수 있으며, 스피커 임베딩을 샘플링하여 여러 명의 화자를 지원합니다.

대상 사용자

• AI 개발자: 인간과 유사한 음성 출력이 필요한 대화형 AI 에이전트 또는 LLM 어시스턴트를 구축하는 사람들.
• 연구자: 대화 기반 작업에서 음성 합성 및 운율을 연구하는 개인.
• 콘텐츠 크리에이터: 표현력이 풍부하고 대화 중심적인 오디오 클립을 생성하고자 하는 사용자.

주요 특징

• 대화 최적화: 대화에 특화되어 조정되었으며, 더 자연스러운 말하기 패턴을 가능하게 합니다.
• 세밀한 운율 제어: 웃음, 일시 정지, 감탄사를 예측하고 제어할 수 있는 능력.
• 다중 화자 지원: 스피커 임베딩을 통해 여러 화자와 음색 복원을 지원합니다.
• 이중 언어 지원: 현재 영어와 중국어를 지원합니다.
• 스트리밍 생성: 낮은 지연 시간을 위해 스트리밍 오디오 생성을 지원합니다.