prathoshap/vagdhenu

해결하는 문제

Vágdhenu는 산스크리트어 영창(páráyaána)을 위해 특별히 설계된 프로덕션급 텍스트 음성 변환(TTS) 시스템입니다. 텍스트를 평면적으로 읽는 일반적인 TTS와 달리, 이 시스템은 전통적인 영창 스타일에 충실한 운율 인식 지속 시간과 선율 윤곽을 가진 오디오를 생성합니다.

작동 원리

이 시스템은 IndicF5/F5-TTS를 기반으로 하는 flow-matching Diffusion Transformer (DiT) 백본을 사용합니다. 힌디어의 schwa-deletion과 같은 문제를 방지하기 위해 산스크리트어 텍스트는 Kannada 문자를 통해 라우팅됩니다. 또한 장모음의 안정성을 보장하기 위해 미세 조정된 NVIDIA BigVGAN-v2 vocoder를 채택했습니다.

운율(Prosody)은 참조 클립(목소리, swara 및 속도 제어)과 보이스 스티어링 미세 조정을 결합하여 관리됩니다. 또한 visarga sandhi, homorganic anusvára, 운율/gaána 탐지를 포함한 복잡한 산스크리트어 언어 규칙을 처리하는 전문 텍스트 프런트엔드를 포함합니다.

대상

학습, 접근성 및 영창 오디오 콘텐츠 제작을 위해 신성한 산스크리트어 영창 합성에 관심이 있는 연구자, 개발자 및 실천가를 위해 설계되었습니다.

주요 특징

• 고충실도: 전문가 청취자로부터 약 4.6의 평균 의견 점수(MOS)를 달성했습니다.
• 언어적 정밀도: 치경 유기음(retroflex aspirates)을 포함한 복잡한 결합 문자를 정확하게 렌더링합니다.
• 검증된 성능: Mahábhárata Tátparya Niráya를 위한 17시간 이상의 오디오와 ŜśƱmad Bhágavatam을 위한 16,000절 이상의 음성 생성에 사용되었습니다.
• 고급 프런트엔드: Devanagari에서 Kannada로의 라우팅 및 운율 탐지를 위한 맞춤형 텍스트 처리 파이프라인을 포함합니다.