KittenML/KittenTTS

해결하는 문제

Kitten TTS는 텍스트로부터 고품질의 자연스러운 오디오를 생성하는 오픈 소스 텍스트 음성 변환(TTS) 라이브러리입니다. GPU 없이도 CPU를 포함한 일반 소비자용 하드웨어에서 효율적이고 표현력이 풍부한 음성 합성을 실행할 수 있도록 지원합니다.

작동 원리

이 라이브러리는 1.7B 파라미터의 1비트 음성 언어 모델인 KittenTTS 2와 일련의 경량 ONNX 모델(15M-80M 파라미터)이라는 두 가지 주요 모델 제품군을 특징으로 합니다. KittenTTS 2는 대상 화자의 5~30초 오디오 클립을 참조로 사용하여 인컨텍스트 음성 복제를 수행합니다. 화자 임베딩과 프롬프트 내의 코덱 토큰을 결합하는 이중 경로 접근 방식을 사용하여 화자의 정체성을 유지합니다. 또한 20개 언어에 걸친 다국어 합성을 지원하며, 숫자, 날짜, 약어를 자동으로 확장하는 텍스트 전처리 기능을 포함합니다.

대상 사용자

이 도구는 고가의 GPU 인프라 없이도 음성 복제 및 감정 표현 제어가 필요한 음성 합성을 애플리케이션에 통합하려는 개발자와 크리에이터를 위해 설계되었습니다.

주요 특징

• 제로샷 음성 복제 (Zero-shot voice cloning): 미세 조정 없이 짧은 오디오 샘플(5~30초)만으로 어떤 목소리든 복제 가능.
• CPU 최적화: llama.cpp 포크를 통한 C++ 추론 최적화로 CPU에서 실시간 성능 구현.
• 표현 제어: 감정, 음성 이벤트(웃음 등), 강조 태그를 사용하여 발화 방식 제어.
• 다국어 지원: 20개의 서로 다른 언어 지원.
• 긴 텍스트 처리: 긴 스크립트에 대한 자동 문장 단위 청크 분할 및 매끄러운 연결.
• 스트리밍: 청크 단위 스트리밍을 지원하여 초기 재생 지연 시간 감소.
• 풍부한 내장 음성: 47개의 사전 정의된 음성 포함.