Mistral AI Voxtral 3 发行说明
概述
Mistral AI 推出了 Voxtral 3，这是一系列全新的语音模型和语音代理 SDK，旨在促进实时、多步骤的对话式 AI 开发。该系统将转录、推理和语音合成集成到一个单一的流式处理管道中，支持超过 50 种语言，并支持通过 Mistral 的欧盟托管 API 或私有基础设施进行部署。
语音转文字功能
Voxtral 3 转录模型专为高精度多语言处理和实时代理工作流而设计。主要技术特性包括：
- Voxtral Small Transcribe 3：针对高精度多语言转录和说话人日志进行了优化，支持 50 多种语言。它具有上下文偏置功能，允许开发人员提供特定领域的词汇和关键短语，从而在无需微调的情况下提高召回率。
- Voxtral Mini Transcribe Realtime 3：专为低延迟代理用例设计，实现了低于 500ms 的延迟。它包含原生回合结束检测功能，利用声学和语义信号来最大限度地减少用户中断期间的错误截断。
- 性能：据报道，这些模型在性能上优于 Whisper 和 Scribe v2 等现有基准测试，4B 参数的 Mini 变体在批处理模式下的定价为 $0.0035/分钟。
语音合成与表现力合成
Voxtral Mini TTS 3.0 专注于自然、上下文感知的语音生成，支持 35 多种语言和 50 多种方言。
- 情感适应性：该模型隐式地解释语义上下文，以调整韵律、节奏、语速和强调，无需明确指令。
- 专业语音适配：对于专业用例，该系统可以使用 30 分钟的音频重现特定说话人的情感范围和特征。
- 指令遵循：用户可以通过
emotion、pacing和emphasis等变量控制语音输出。 - 成本效益：该模型定价为每 100 万字符 $13，使其成为现有企业级 TTS 解决方案的有力竞争替代品。
语音代理 SDK
Voxtral 3 语音代理 SDK 提供了一个统一的流式处理管道，结合了听、推理和说功能。该架构基于 LiveKit 构建，具有模块化特性，使开发人员无需重新配置整个管道即可更换底层的 LLM、语音或语言。
- 集成：该 SDK 支持 SIP、WebRTC 和标准电话/IVR 系统，允许代理执行身份验证、账单查询和预约安排等多步骤任务。
- 部署：组织可以通过在自己的基础设施上部署全栈或利用 Mistral 的欧盟托管 API 端点来维护数据主权。
定价与可用性
Voxtral 3 即日起可通过 Mistral API 获取。定价结构如下：
| 模型 | 价格 |
|---|---|
| Voxtral Mini Transcribe 3 (批处理) | $0.0035/分钟 |
| Voxtral Mini Transcribe Realtime 3 | $0.008/分钟 |
| Voxtral Small Transcribe 3 | $0.0040/分钟 |
| Voxtral Speech 3 (批处理/实时) | $13/100万字符 |
Sources
- OriginalVoxtral 3