vibevoice-community/VibeVoice

해결하는 문제

VibeVoice는 텍스트에서 표현력이 풍부하고 장시간, 다중 화자 대화형 오디오(예: 팟캐스트)를 생성하기 위한 프레임워크입니다. 장시간에 걸쳐 화자 일관성 유지 및 여러 화자 간 자연스러운 대화 흐름 관리와 같은 일반적인 TTS 문제를 해결합니다.

작동 방식

이 프레임워크는 매우 낮은 프레임 레이트(7.5 Hz)에서 작동하는 연속 음성 토크나이저(Acoustic 및 Semantic)를 사용하여 음질을 유지하면서도 효율성을 높입니다. 대규모 언어 모델(LLM)을 활용해 텍스트의 맥락과 대화 흐름을 처리하고, 다음 토큰 확산 프레임워크를 통해 고해상도 음향 세부 정보를 생성하는 확산 헤드를 결합합니다.

대상 사용자

장시간 오디오 콘텐츠 제작자(예: 팟캐스트 제작자) 및 실시간 TTS 애플리케이션을 개발하는 개발자에게 적합합니다.

주요 특징

• 장시간 합성: 최대 90분까지의 오디오 생성이 가능합니다.
• 다중 화자 지원: 한 세션에서 최대 4명의 별개 화자를 지원합니다.
• 실시간 기능: 저지연 TTS를 위한 특화된 0.5B 스트리밍 모델 포함.
• 보이스 클로닝: 1.5B 및 7B 모델에서 오디오 샘플을 기반으로 보이스 클로닝 가능.
• 피니튜닝: 커뮤니티 지원 구현을 통해 새로운 언어나 보이스에 모델을 적응시킬 수 있습니다.