Voxtral 3: Mistral의 새로운 음성 에이전트 SDK 및 최첨단 음성 모델

Voxtral 3는 최첨단 음성 인식(STT) 및 음성 합성(TTS) 모델 제품군으로, 음성 에이전트 SDK와 결합되어 있습니다. 이는 실시간으로 듣고, 추론하고, 상호 작용하며 다단계 워크플로우를 처리할 수 있는 안정적인 엔드투엔드 음성 에이전트를 구축하는 복잡한 과제를 해결하기 위해 설계되었습니다.

이 제품군은 조직이 고객 센터 상담원부터 핸즈프리 코파일럿에 이르기까지 자연스러운 대화형 경험을 창출할 수 있도록 지원하며, Mistral의 EU 호스팅 API 또는 사설 인프라에 배포하는 옵션을 통해 데이터 주권을 유지할 수 있게 합니다.

Voxtral 3의 핵심 기능

Voxtral 3는 안정적인 음성 에이전트의 4가지 필수 요건인 정확한 청취, 깊이 있는 맥락적 추론, 자연스러운 음성 생성, 다단계 작업 실행을 해결합니다.

다국어 및 정확한 전사

Voxtral Small Transcribe 3 모델은 24개의 EU 공식 언어와 다수의 아시아 및 인도 언어를 포함하여 50개 이상의 언어를 지원하는 최첨단 다국어 전사 기능을 제공합니다. 주요 기능은 다음과 같습니다:

화자 분리(Diarization): 모델이 누가 언제 말했는지 정확하게 식별하여 다자간 대화에서의 혼선을 최소화합니다.
맥락 편향(Context Biasing): 사용자는 핵심 용어와 자유 형식의 텍스트를 제공하여 전사 결과에 편향을 줄 수 있으며, 모델 미세 조정 없이도 도메인별 어휘에 대한 인식률을 크게 향상시킵니다.
턴 종료 감지(End-of-Turn Detection): 화자가 말을 마친 시점을 기본적으로 감지하여 에이전트가 낮은 지연 시간으로 응답할 수 있게 하고 잘못된 끊김 비율을 최소화합니다.

실시간 에이전트 사용 사례를 위해 Voxtral Mini Transcribe Realtime 3는 35개 이상의 언어에서 500ms 미만의 지연 시간으로 고품질 전사를 달성하며, 화자 분리 및 맥락 편향 기능도 지원합니다.

표현력이 풍부하고 적응 가능한 음성 생성

Voxtral Mini TTS 3 모델은 35개 이상의 언어와 50개 이상의 방언에 걸쳐 최첨단 표현력과 지시 이행 능력을 제공합니다. 이 모델의 자연스러움은 텍스트 맥락의 의미론적 의미를 암묵적으로 해석하여 적절한 감정과 음성 스타일을 결정하는 능력에서 비롯됩니다.

TTS 모델의 주요 기능은 다음과 같습니다:

감정 적응성: 대화 맥락에 따라 음성의 감정, 속도, 강조가 조정됩니다.
음성 복제(Voice Cloning): Voxtral Pro Voice 적응 기술은 단 30분의 오디오만으로 화자의 독특한 캐릭터, 감정 범위, 말하기 스타일을 언어 전반에 걸쳐 재현할 수 있습니다.
비용 효율성: 이 모델은 100만 문자당 13달러로 책정되어 있으며, 이는 OpenAI TTS-1, Deepgram, ElevenLabs Flash, Gemini Flash와 같은 유사 모델보다 저렴합니다.

실시간 음성 에이전트 파이프라인

Voxtral 3 음성 에이전트 SDK는 전체 대화 흐름을 단일 실시간 스트리밍 파이프라인으로 통합하여 턴 사이의 지연 시간을 최소화합니다.

에이전트 워크플로우 및 지연 시간

이 에이전트는 개별 모델을 연결하여 작동합니다. Voxtral Mini Transcribe Realtime 3가 음성을 듣고 완료를 감지하며, 범용 LLM(예: Mistral Small)이 추론하고 도구를 호출하고, Voxtral Speech 3가 대화 톤에 맞춰 응답합니다. 각 단계가 이전 단계가 완료되기를 기다리지 않기 때문에 각 턴은 1초 이내에 완료되며, 발신자가 말을 가로채면 에이전트는 즉시 말을 멈춥니다.

이 아키텍처를 통해 에이전트는 함수 호출, 웹 검색, 사용자 사설 시스템에 대한 검색을 활용하여 신원 확인, 청구서 확인, 예약 등 실시간 대화 중 복잡한 작업을 수행할 수 있습니다.

배포 및 주권

Voxtral 3는 주권적 배포를 위해 설계되어 조직이 오디오 처리 위치와 데이터 처리 방식을 제어할 수 있습니다. 모델은 Mistral의 EU 호스팅 API를 통해 제공되거나 조직의 자체 인프라에 직접 배포할 수 있습니다. 이 기능은 엄격한 데이터 제어가 필요한 기업에게 큰 매력 요소입니다.

성능 및 시장 통찰

Voxtral 3는 여러 산업 벤치마크, 특히 다국어 및 실시간 시나리오에서 경쟁력 있는 성능을 보여줍니다.

벤치마크 성능

전사: Voxtral Small Transcribe 3는 다국어 전사 및 화자 분리 벤치마크에서 Whisper, Scribe v2, Gemini 3.5 Transcribe를 능가합니다.
실시간 전사: Voxtral Mini Transcribe Realtime 3는 실시간 단어 오류율(WER)에 대한 FLEURS 35 벤치마크를 기준으로 평가되었습니다.
TTS 품질: 내부 평가에 따르면 Voxtral TTS는 Voice Code Bench(숫자 및 고유 이름 처리) 및 발음 제어와 같은 지표에서 높은 가성비를 유지합니다.

커뮤니티 토론 및 사용 사례

커뮤니티 피드백은 현재 AI 음성 기술의 고급 기능과 실질적인 한계를 모두 강조합니다:

기업 통합: 이 SDK는 복잡한 고객 서비스 워크플로우를 자동화하는 데 매우 가치 있는 것으로 평가받습니다. 한 사용자는 에이전트가 회사 인트라넷과 직접 상호 작용하여 결제 승인과 같은 요청을 처리할 수 있는 잠재력을 언급했습니다.
주권 대 개방성: 토론에서 반복되는 주제는 데이터 주권의 필요성(Voxtral 3가 해결하는 부분)과 오픈 소스 모델에 대한 선호 사이의 긴장감이며, 일부 사용자는 모델이 폐쇄적이라는 점에 실망감을 표했습니다.
음성 품질 인식: 일부 사용자는 음성 품질의 변화를 감지했으며, 더 새롭고 표현력이 풍부한 음성이 이전 버전에 비해 더 인위적으로 들린다고 평가했습니다.

가격 및 가용성

Voxtral 3는 오늘부터 Mistral API를 통해 이용할 수 있습니다. 가격은 모델 및 사용 유형에 따라 다릅니다:

모델	사용 유형	가격
Voxtral Mini Transcribe 3	배치	$0.0035/분
Voxtral Mini Transcribe Realtime 3	실시간	$0.008/분
Voxtral Small Transcribe 3	배치	$0.0040/분
Voxtral Speech 3	배치 및 실시간	$13/100만 문자