Mistral AI Voxtral TTS 릴리스

Mistral AI는 고음질, 다국어 음성 생성을 위한 4B 파라미터 텍스트-to-음성(TTS) 모델인 Voxtral TTS를 출시했습니다. 이 모델은 낮은 지연 시간을 제공하며 현실감 있고 감정 표현력이 풍부한 음성을 생성하도록 설계되어, 확장 가능한 기업용 음성 에이전트 및 실시간 상호작용에 적합합니다.

높은 자연스러움의 다국어 음성 생성

Voxtral TTS는 영어, 프랑스어, 독일어, 스페인어, 네덜란드어, 포르투갈어, 이탈리아어, 힌디어, 아랍어 등 총 9개 언어에서 최첨단 성능을 지원합니다. 모델은 문화적 뉘앙스, 자연스러운 리듬, 감정의 유연성을 포착함으로써 진정성 있는 음성을 생성하며, 비유적 표현이나 기쁨 같은 맥락을 해석하여 기계적인 음성 전달을 피할 수 있습니다.

음성 모방 및 적응

Voxtral TTS는 단 3초의 참조 샘플만으로 사용자 정의 음성에 적응할 수 있습니다. 이 적응은 화자 음성뿐만 아니라 다음과 같은 특정 뉘앙스도 포착합니다:

• 미세한 억양
• 어조와 억양의 변화
• 참조 오디오에 존재하는 말문이 막히는 현상

특히 모델은 제로샷 다국어 음성 적응을 보여줍니다. 다른 언어의 음성 프롬프트를 사용하여 한 언어의 음성을 생성할 수 있습니다 (예: 프랑스어 음성 프롬프트를 사용해 자연스러운 프랑스 억양의 영어 음성을 생성).

성능 벤치마크 및 인간 평가

자동화된 지표(예: 단어 오류율)는 음성의 자연스러움을 완전히 포착할 수 없기 때문에, Mistral AI는 원어민 사용자를 대상으로 비교적 인간 평가를 실시했습니다.

• 자연스러움: 인간 평가 결과, Voxtral TTS는 ElevenLabs Flash v2.5보다 우수한 자연스러움을 달성했으며, 비슷한 첫 음성 출력 시간(TTFA)을 유지했습니다.
• 품질: 모델은 ElevenLabs v3와 동등한 성능을 보였으며, 현실적인 상호작용을 위한 감정 조정 기능을 지원합니다.
• 제로샷 사용자 음성: 9개 언어에서의 제로샷 다국어 사용자 음성 설정에서, Voxtral TTS는 ElevenLabs v2.5 Flash보다 더 큰 품질 격차를 보였습니다.

기술 아키텍처

Voxtral TTS는 Ministral 3B 기반의 트랜스포머 기반, 순차적, 플로우 매칭 모델입니다. 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 트랜스포머 디코더 백본: 3.4B 파라미터.
2. 플로우 매칭 음성 트랜스포머: 390M 파라미터.
3. 신경 음성 코덱: 300M 파라미터 (대칭 인코더-디코더).

처리 워크플로우: 모델은 5~25초의 음성 프롬프트와 텍스트 프롬프트를 입력받습니다. 트랜스포머 백본은 각 오디오 프레임에 대한 의미 토큰을 예측하고, 플로우 매칭 트랜스포머는 16회의 함수 평가(NFE)를 수행하여 음성 잠재 표현을 생성합니다. 내부 코덱은 의미 VQ(8192어휘)와 음성 FSQ(36차원, 21레벨) 잠재 표현을 12.5Hz 프레임 속도로 인과적으로 처리합니다.

지연 시간 및 스트리밍 기능

실시간 음성 에이전트 애플리케이션을 위해 최적화된 Voxtral TTS는 낮은 지연 시간 스트리밍을 지원합니다:

• 모델 지연 시간: 일반적인 입력(500자, 약 10초 음성)에 대해 70ms.
• 실시간 요인(RTF): 약 9.7x.
• 생성 길이: 모델은 기본적으로 최대 2분의 음성을 생성할 수 있으며, API는 스마트 인터리빙을 통해 더 긴 생성을 지원합니다.

기업 통합 및 접근성

Voxtral TTS는 기업 음성 파이프라인의 출력 계층으로 위치지어져, Voxtral Transcribe와 통합하여 완전한 음성-음성 워크플로우를 구현하거나, 기존의 음성-텍스트 및 LLM 스택과도 통합 가능합니다.

접근 및 가격:

• API 접근: 1,000자당 $0.016.
• 테스트: Mistral Studio 및 Le Chat에서 사용 가능.
• 오픈 가중치: 여러 참조 음성과 함께 Hugging Face에서 CC BY NC 4.0 라이선스 하에 공개되어 있습니다.