Voxtral 3：Mistral 的新语音代理 SDK 和最先进的语音模型

Voxtral 3 是一系列最先进的语音转文本和文本转语音模型，并配有语音代理 SDK，旨在解决构建可靠、端到端语音代理的复杂挑战，这些代理能够实时聆听、推理、交互并处理多步骤工作流。

该套件使组织能够创建自然的对话体验——从联络中心代理到免提副驾驶——同时通过 Mistral 的欧盟托管 API 或私有基础设施上的部署选项来保持数据主权。

Voxtral 3 的核心能力

Voxtral 3 解决了可靠语音代理的四个关键要求：准确聆听、深度上下文推理、自然语音生成和多步骤操作执行。

多语言和准确转录

Voxtral Small Transcribe 3 模型提供最先进的多语言转录，支持超过 50 种语言，包括 24 种欧盟官方语言和多种资源匮乏的亚洲和印度语言。主要功能包括：

  • 说话人分离： 该模型准确识别谁在何时说话，最大限度地减少多说话人对话中的混淆。
  • 上下文偏置： 用户可以提供关键术语和自由文本以偏置转录，显著提高领域特定词汇的召回率，而无需模型微调。
  • 话轮结束检测： 它原生检测说话人何时结束，使代理能够以低延迟响应，并最大限度地减少误切断率。

对于实时代理用例，Voxtral Mini Transcribe Realtime 3 在超过 35 种语言中实现低于 500 毫秒延迟的高质量转录，同时支持说话人分离和上下文偏置。

富有表现力和自适应的语音生成

Voxtral Mini TTS 3 模型在 35 多种语言和 50 多种方言中提供最先进的表现力和指令遵循能力。该模型的自然度源于其隐式解释文本上下文的语义含义以确定适当的情感和语音风格的能力。

TTS 模型的主要功能包括：

  • 情感适应性： 语音根据对话上下文调整情感、语速和强调。
  • 语音克隆： Voxtral Pro Voice 自适应仅需 30 分钟音频即可跨语言重现说话人的独特特征、情感范围和说话风格。
  • 成本效益： 该模型定价为每 100 万个字符 13 美元，源材料指出这低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash 的同类模型。

实时语音代理流水线

Voxtral 3 语音代理 SDK 将整个对话流程集成到单个实时流式处理流水线中，确保轮次之间的延迟最小。

代理工作流和延迟

代理通过链接单独的模型来运行：Voxtral Mini Transcribe Realtime 3 聆听并检测语音完成；通用 LLM（如 Mistral Small）进行推理并调用工具；Voxtral Speech 3 以对话的语气回复。由于没有阶段等待前一阶段完成，每轮在一秒内完成，如果呼叫者打断，代理会立即停止说话。

这种架构使代理能够在实时对话中执行复杂任务，例如验证身份、检查账单或预订约会，通过利用函数调用、网络搜索和用户私有系统的检索。

部署和主权

Voxtral 3 专为主权部署而设计，允许组织控制音频处理位置以及数据处理方式。这些模型可通过 Mistral 的欧盟托管 API 使用，或可在组织自己的基础设施上自行部署。此功能对需要严格数据控制的企业具有显著吸引力。

性能和市场洞察

Voxtral 3 在多个行业基准测试中展示了竞争性能，尤其是在多语言和实时场景中。

基准测试性能

  • 转录： Voxtral Small Transcribe 3 在多语言转录和说话人分离基准测试中优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。
  • 实时转录： Voxtral Mini Transcribe Realtime 3 根据 FLEURS 35 基准测试评估实时词错误率（WER）。
  • TTS 质量： 内部评估显示，Voxtral TTS 在 Voice Code Bench（处理数字和唯一名称）和发音控制等指标上保持高质量性价比。

社区讨论和用例

社区反馈突出了当前 AI 语音技术的高级能力和实际局限性：

  • 企业集成： SDK 被视为自动化复杂客户服务工作流的高度价值工具。一位用户指出，代理有可能直接与公司内网交互以处理诸如支付授权之类的请求。
  • 主权与开放性： 讨论中反复出现的主题是数据主权需求（Voxtral 3 解决了这一点）与对开源模型的偏好之间的紧张关系，一些用户对模型是封闭的表示失望。
  • 语音质量感知： 一些用户注意到语音质量的感知变化，有些人发现更新、更具表现力的语音与旧版本相比听起来更人工化。

定价和可用性

Voxtral 3 现已通过 Mistral API 提供。定价因模型和使用类型而异：

模型 使用类型 价格
Voxtral Mini Transcribe 3 批量 $0.0035/分钟
Voxtral Mini Transcribe Realtime 3 实时 $0.008/分钟
Voxtral Small Transcribe 3 批量 $0.0040/分钟
Voxtral Speech 3 批量和实时 $13/100 万字符

Sources

相关

  • Dispatch
    Mistral AI Voxtral 3 发行说明

    Mistral AI 推出了 Voxtral 3，这是一套最先进的语音转文字和文字转语音模型，以及一个专为低延迟、多步骤对话自动化设计的语音代理 SDK。

  • Dispatch
    Mistral AI Voxtral TTS 发布

    Mistral AI 发布了 Voxtral TTS，这是一个拥有 4B 参数的多语言文本转语音模型，为企业级语音代理提供高自然度的语音生成和低延迟流式传输能力。

  • Dispatch
    Mistral AI Voxtral 发布

    Mistral AI 发布了 Voxtral，这是一系列开放权重的语音理解模型，包含 24B 和 3B 两种尺寸，可在 Apache 2.0 许可证下提供最先进的转录和原生语义理解能力。

  • Dispatch
    Mistral AI Voxtral Transcribe 2 发布

    Mistral AI 发布了 Voxtral Transcribe 2，包含用于高效批量处理的 Voxtral Mini Transcribe V2 和用于超低延迟实时转录的 Voxtral Realtime。

  • Dispatch
    Mistral AI Devstral 发布

    Mistral AI 发布了 Devstral，这是一款用于软件工程的智能体 LLM，它在 SWE-Bench Verified 基准测试中优于开源模型，并根据 Apache 2.0 许可提供。