Mistral AI Voxtral Transcribe 2 發佈

Mistral AI 已發佈 Voxtral Transcribe 2，這是一系列旨在提供頂尖轉錄品質、說話者分割（speaker diarization）以及超低延遲的語音轉文字模型。此次發佈包含兩個主要模型：用於批次處理的 Voxtral Mini Transcribe V2 以及用於即時應用程式的 Voxtral Realtime。

Voxtral Realtime：超低延遲串流

Voxtral Realtime 專為需要極低延遲的即時應用程式而設計，採用了一種新穎的串流架構，可在音訊到達時即進行轉錄，而非將音訊分塊處理。

關鍵效能指標

Latency（延遲）： 延遲可配置至低於 200ms，從而實現響應迅速的語音代理。
Accuracy vs. Delay（準確度與延遲）： 在 480ms 的延遲下，模型可將字錯誤率（WER）維持在 1-2% 以內。在 2.4 秒的延遲下，其準確度可與 Voxtral Mini Transcribe V2 批次模型相媲美。
Model Size and Deployment（模型大小與部署）： 憑藉 4B 參數規模，該模型可部署於邊緣裝置上，以實現隱私優先的應用。
Licensing（授權）： Voxtral Realtime 以開源權重（open-weights）形式發佈，採用 Apache 2.0 授權。

Language Support（語言支援）

Voxtral Realtime 原生支援多語言，支援 13 種語言：English, Chinese, Hindi, Spanish, Arabic, French, Portuguese, Russian, German, Japanese, Korean, Italian, and Dutch。

Voxtral Mini Transcribe V2：高效批次轉錄

Voxtral Mini Transcribe V2 針對高準確度的批次轉錄與說話者分割進行了優化。它在 FLEURS 基準測試中達到約 4% 的字錯誤率，價格為每分鐘 0.003 美元。

Technical Capabilities（技術能力）

Speaker Diarization（說話者分割）： 模型會生成帶有說話者標籤以及精確開始/結束時間的轉錄內容。在說話重疊的情況下，模型通常會轉錄其中一位說話者。
Context Biasing（上下文偏置）： 使用者可以提供多達 100 個單字或短語，以引導模型正確拼寫技術術語、名稱或特定領域的詞彙。此功能目前針對 English 已進行優化，並對其他語言提供實驗性支援。
Word-Level Timestamps（單字級時間戳）： 模型為每個單字提供精確的開始與結束時間戳，便於生成字幕與音訊搜尋。
Audio Capacity（音訊容量）： 模型單次請求可處理長達 3 小時的錄音。
Noise Robustness（抗噪性）： 系統在具挑戰性的聲學環境中仍能維持準確度，包括實地錄音、繁忙的呼叫中心以及工廠車間。

Benchmarks and Competitive Positioning（基準測試與競爭地位）

Voxtral Mini Transcribe V2 支援 13 種語言（與 Voxtral Realtime 相同）。Mistral AI 表示，該模型在準確度上優於 GPT-4o mini Transcribe, Gemini 2.5 Flash, Assembly Universal, and Deepgram Nova。此外，它處理音訊的速度比 ElevenLabs’ Scribe v2 快約 3 倍，同時以五分之一的成本達到相同的品質。

Implementation and Tooling（實作與工具）

Mistral Studio Audio Playground

Mistral Studio 提供音訊遊樂場（audio playground）供即時測試。它支援 .mp3, .wav, .m4a, .flac, and .ogg 檔案，每個檔案大小上限為 1GB。使用者可以切換說話者分割功能、調整時間戳粒度，並添加上下文偏置術語。

Pricing and Availability（價格與供應情況）

Voxtral Mini Transcribe V2： 可透過 API 使用，價格為每分鐘 0.003 美元。
Voxtral Realtime： 可透過 API 使用，價格為每分鐘 0.006 美元，並在 Hugging Face 上提供開源權重。
Compliance（合規性）： 兩個模型均支援透過私有雲或安全的在地部署來實現符合 GDPR 與 HIPAA 的合規部署。