pnnbao97/VieNeu-TTS

해결하는 문제

VieNeu-TTS는 베트남어에 특화되어 최적화된 고충실도, 저지연 텍스트 음성 변환(TTS) 시스템을 제공합니다. CPU 및 중급 GPU를 포함한 소비자용 하드웨어에서 효율적으로 실행되면서 즉각적인 음성 복제와 실시간 스트리밍을 지원하는 자연스러운 베트남어 음성 합성의 필요성을 해결합니다.

작동 원리

이 프로젝트는 10,000시간 이상의 이중 언어 데이터로 학습된 사용자 지정 아키텍처(v3 Turbo)를 사용합니다. 플로우 매칭 모델(flow-matching model)과 특수 오디오 토크나이저(MOSS-Audio-Tokenizer-Nano) 및 음소 변환기(sea-g2p)를 채택했습니다. 배포를 위해 최대 처리량을 위한 CUDA 그래프가 포함된 GPU 가속용 PyTorch 엔진과 CPU 실행을 위한 torch가 필요 없는 ONNX Runtime 경로 등 여러 백엔드를 제공합니다. 또한, 음질을 일부 희생하는 대신 속도를 크게 높인 에지 디바이스용 v3 Nano 버전도 포함되어 있습니다.

대상 사용자

• 개발자: 베트남어 AI 에이전트, 음성 비서 또는 접근성 도구를 구축하는 분.
• 콘텐츠 제작자: 영상, 팟캐스트 또는 오디오북을 위한 자연스러운 베트남어 내레이션이 필요한 분.
• 에지 컴퓨팅 엔지니어: 저전력 ARM 보드나 구형 노트북에 TTS를 배포하는 분.

주요 특징

• 극강의 성능: 실시간 스트리밍을 지원하며, 첫 오디오 출력까지 약 115ms가 소요되고 소비자용 GPU에서 실시간 계수(RTF)가 0.01~0.02 수준으로 매우 낮습니다.
• 즉각적인 음성 복제: 3~8초 분량의 참조 클립에서 자동 노이즈 제거 기능을 사용하여 음성을 복제할 수 있습니다.
• OpenAI 호환 API: OpenAI TTS 엔드포인트의 드롭인 대체품으로, Pipecat 및 LiveKit과 같은 SDK와 호환됩니다.
• 고충실도: 48 kHz 오디오 출력을 지원하며, 베트남 북부, 중부, 남부 지역을 아우르는 25개의 내장 프리셋 음성을 포함합니다.
• 실험적 감정 표현: [cười] (웃음) 및 [thở dài] (한숨)와 같은 인라인 태그를 지원하여 비언어적 표현을 추가할 수 있습니다.