Mistral AI Voxtral Transcribe 2 发布

Mistral AI 发布了 Voxtral Transcribe 2，这是一个语音转文本模型系列，旨在提供最先进的转录质量、说话人日志（speaker diarization）以及超低延迟。该系列包含两个主要模型：用于批量处理的 Voxtral Mini Transcribe V2 和用于实时应用的 Voxtral Realtime。

Voxtral Realtime：超低延迟流式传输

Voxtral Realtime 专为需要极低延迟的实时应用而设计，采用了一种新颖的流式架构，可以在音频到达时进行转录，而不是分块处理音频。

关键性能指标

Latency（延迟）： 延迟可配置至 200ms 以下，从而实现响应迅速的语音代理。
Accuracy vs. Delay（准确度与延迟）： 在 480ms 延迟下，模型将词错误率（WER）保持在 1-2% 以内。在 2.4 秒延迟下，其准确度可与 Voxtral Mini Transcribe V2 批量模型相媲美。
Model Size and Deployment（模型大小与部署）： 凭借 4B 参数量，该模型可以部署在边缘设备上，以满足隐私优先的应用需求。
Licensing（许可）： Voxtral Realtime 以 Apache 2.0 许可下的开源权重形式发布。

Language Support（语言支持）

Voxtral Realtime 原生支持多语言，支持 13 种语言：English, Chinese, Hindi, Spanish, Arabic, French, Portuguese, Russian, German, Japanese, Korean, Italian, and Dutch。

Voxtral Mini Transcribe V2：高效批量转录

Voxtral Mini Transcribe V2 针对高准确度的批量转录和说话人日志（diarization）进行了优化。它在 FLEURS 基准测试中实现了约 4% 的词错误率，价格为每分钟 0.003 美元。

Technical Capabilities（技术能力）

Speaker Diarization（说话人日志）： 模型生成的转录文本带有说话人标签和精确的开始/结束时间。在语音重叠的情况下，模型通常会转录一名说话人。
Context Biasing（上下文偏置）： 用户可以提供多达 100 个单词或短语，以引导模型正确拼写技术术语、名称或特定领域的词汇。此功能针对 English 进行了优化，并对其他语言提供了实验性支持。
Word-Level Timestamps（词级时间戳）： 模型为每个单词提供精确的开始和结束时间戳，便于字幕生成和音频搜索。
Audio Capacity（音频容量）： 模型可以在单个请求中处理长达 3 小时的录音。
Noise Robustness（噪声鲁棒性）： 系统在具有挑战性的声学环境中保持准确性，包括实地录音、繁忙的呼叫中心和工厂车间。

Benchmarks and Competitive Positioning（基准测试与竞争定位）

Voxtral Mini Transcribe V2 支持 13 种语言（与 Voxtral Realtime 相同）。Mistral AI 表示，该模型在准确度上优于 GPT-4o mini Transcribe, Gemini 2.5 Flash, Assembly Universal, and Deepgram Nova。此外，它处理音频的速度比 ElevenLabs’ Scribe v2 快约 3 倍，同时以五分之一的成本达到同等质量。

Implementation and Tooling（实现与工具）

Mistral Studio Audio Playground

Mistral Studio 中提供了一个音频游乐场，可进行即时测试。它支持 .mp3, .wav, .m4a, .flac, and .ogg 文件，每个文件大小不超过 1GB。用户可以切换说话人日志功能，调整时间戳粒度，并添加上下文偏置项。

Pricing and Availability（价格与可用性）

Voxtral Mini Transcribe V2： 可通过 API 使用，价格为每分钟 0.003 美元。
Voxtral Realtime： 可通过 API 使用，价格为每分钟 0.006 美元，并作为开源权重在 Hugging Face 上发布。
Compliance（合规性）： 两个模型都支持通过私有云或安全的本地部署来实现 GDPR 和 HIPAA 合规性部署。