Mistral AI Voxtral 3 릴리스 노트

개요

Mistral AI는 실시간 다단계 대화형 AI를 구현하기 위해 설계된 새로운 음성 모델 제품군 및 음성 에이전트 SDK인 Voxtral 3를 출시했습니다. 이 시스템은 전사(transcription), 추론, 음성 합성을 단일 스트리밍 파이프라인으로 통합하며, 50개 이상의 언어를 지원하고 Mistral의 EU 호스팅 API 또는 자체 인프라를 통한 배포를 가능하게 합니다.

음성 인식(Speech-to-Text) 기능

Voxtral 3 전사 모델은 고정밀 다국어 처리 및 실시간 에이전트 워크플로우를 위해 설계되었습니다. 주요 기술적 특징은 다음과 같습니다:

  • Voxtral Small Transcribe 3: 50개 이상의 언어를 지원하며 고정밀 다국어 전사 및 화자 분리(diarization)에 최적화되어 있습니다. 컨텍스트 바이어싱(context-biasing) 기능을 통해 개발자가 도메인별 어휘와 핵심 문구를 제공하여 미세 조정 없이도 재현율을 향상시킬 수 있습니다.
  • Voxtral Mini Transcribe Realtime 3: 500ms 미만의 지연 시간을 달성하여 저지연 에이전트 사용 사례를 위해 설계되었습니다. 음향 및 의미론적 신호를 모두 활용하는 기본 턴 종료 감지(end-of-turn detection) 기능이 포함되어 있어 사용자 방해 시 발생하는 잘못된 끊김 현상을 최소화합니다.
  • 성능: 이 모델들은 Whisper 및 Scribe v2와 같은 기존 벤치마크를 능가하는 것으로 보고되었으며, 4B 파라미터 Mini 변형 모델은 배치 처리 시 분당 $0.0035의 가격으로 제공됩니다.

음성 합성(Text-to-Speech) 및 표현력 있는 합성

Voxtral Mini TTS 3.0은 35개 이상의 언어와 50개 이상의 방언을 지원하며 자연스럽고 문맥을 인식하는 음성 생성에 중점을 둡니다.

  • 감정 적응성: 이 모델은 명시적인 지시 없이도 의미론적 맥락을 암묵적으로 해석하여 운율, 리듬, 속도 및 강조를 조정합니다.
  • Pro Voice Adaptation: 전문적인 사용 사례를 위해 30분 분량의 오디오를 사용하여 특정 화자의 감정 범위와 특징을 재현할 수 있습니다.
  • 지시 이행: 사용자는 emotion, pacing, emphasis와 같은 변수를 통해 음성 출력을 제어할 수 있습니다.
  • 비용 효율성: 이 모델은 100만 자당 $13로 책정되어 기존 엔터프라이즈 TTS 솔루션에 대한 경쟁력 있는 대안으로 자리 잡고 있습니다.

음성 에이전트 SDK

Voxtral 3 음성 에이전트 SDK는 듣기, 추론, 말하기를 결합한 통합 스트리밍 파이프라인을 제공합니다. LiveKit을 기반으로 구축된 이 아키텍처는 모듈성을 허용하여 개발자가 전체 파이프라인을 재구성하지 않고도 기본 LLM, 음성 또는 언어를 교체할 수 있습니다.

  • 통합: SDK는 SIP, WebRTC 및 표준 전화/IVR 시스템을 지원하여 에이전트가 신원 확인, 청구 문의, 예약 일정 관리와 같은 다단계 작업을 수행할 수 있도록 합니다.
  • 배포: 조직은 자체 인프라에 전체 스택을 배포하거나 Mistral의 EU 호스팅 API 엔드포인트를 활용하여 데이터 주권을 유지할 수 있습니다.

가격 및 가용성

Voxtral 3는 Mistral API를 통해 즉시 사용할 수 있습니다. 가격 구조는 다음과 같습니다:

모델 가격
Voxtral Mini Transcribe 3 (배치) $0.0035/분
Voxtral Mini Transcribe Realtime 3 $0.008/분
Voxtral Small Transcribe 3 $0.0040/분
Voxtral Speech 3 (배치/실시간) $13/100만 자

Sources