devnen/Chatterbox-TTS-Server

해결하는 문제

Chatterbox TTS Server는 Resemble AI의 Chatterbox 텍스트 음성 변환(TTS) 제품군을 셀프 호스팅할 수 있는 사용자 친화적인 방법을 제공합니다. 이러한 모델의 배포 및 사용을 단순화하고, 현대적인 Web UI와 OpenAI 호환 API를 추가하여 복잡한 수동 설정 없이도 고품질 음성 생성을 가능하게 합니다.

작동 원리

이 프로젝트는 chatterbox-tts 엔진을 FastAPI 서버로 래핑합니다. 세 가지 별도의 모델을 지원합니다: 고품질의 Original Chatterbox(영어), Chatterbox Multilingual(23개 언어), 그리고 Chatterbox-Turbo(경량화된 빠른 모델)입니다. 사용자는 UI의 핫스왑 가능한 선택기를 통해 이러한 엔진 간을 전환할 수 있습니다. 서버는 NVIDIA, AMD 및 Apple Silicon GPU의 하드웨어 가속을 처리하며, 긴 텍스트를 관리 가능한 조각으로 나누어 매끄러운 오디오북이나 긴 내레이션을 생성하는 지능형 청킹 시스템을 포함합니다.

대상 사용자

음성 에이전트를 구축하는 개발자, 오디오북을 제작하는 크리에이터, 그리고 음성 복제 및 다국어 지원 기능을 갖춘 표현력 있는 셀프 호스팅 TTS 시스템을 원하는 사용자.

주요 특징

• 멀티 엔진 지원: 서버를 재시작하지 않고도 Original, Multilingual, Turbo 모델 간을 핫스왑할 수 있습니다.
• 표현력 있는 음성 제어: Chatterbox-Turbo는 자연스러운 반응을 위해 [laugh], [cough], [chuckle]와 같은 준언어적 태그를 지원합니다.
• 오디오북 생성: 지능형 텍스트 청킹을 통해 책 전체를 단일 오디오 파일로 처리할 수 있습니다.
• 폭넓은 하드웨어 호환성: CUDA, ROCm, Apple MPS를 네이티브로 지원하며, 시스템 Python 설치가 필요 없는 휴대용 Windows 모드도 포함됩니다.
• OpenAI 호환 API: 기존 AI 워크플로우 및 애플리케이션에 쉽게 통합할 수 있습니다.