Gemini 3.5 Transcribe 發佈說明

Gemini 3.5 Transcribe 提供智慧、即時的語音轉文字轉換

Google 已發佈 Gemini 3.5 Transcribe,這是一款語音轉文字 (STT) 模型,旨在將原始音訊轉換為精煉且格式化的文字。該模型與傳統語音辨識的不同之處在於,它能自動移除填充詞(如「嗯」、「啊」)、處理自我修正(例如:「我們週二見——不,週三見」),並自動格式化輸出以捕捉使用者的意圖,而不僅僅是字面上的語音。

API 可用性與實作

Gemini 3.5 Transcribe 可透過兩種不同的 API 提供給開發者,以支援不同的架構需求:

  • 即時串流 (gemini-3.5-transcribe-live): 可透過 Live API 存取,此版本提供具備亞秒級延遲的雙向串流,適用於互動式語音應用程式。
  • 預錄音訊處理 (gemini-3.5-transcribe): 可透過 Interactions API 存取,此版本處理錄音、會議記錄和通話記錄,並為最多三位講者提供講者辨識 (speaker attribution) 以及字級時間戳記。

開發者可以透過 Google AI Studio 中的 Gemini API 以及 Gemini Enterprise Agent Platform 存取這些模型。

技術性能與基準測試

Gemini 3.5 Transcribe 展現了較其前身 Chirp 3 的顯著改進,特別是在延遲和準確度方面:

  • 字錯誤率 (WER): 根據 Artificial Analysis 的數據,該模型在串流使用情境下達到平均 4.0% 的 WER,在非串流使用情境下達到 2.6% 的 WER。在 FLEURS 基準測試中,它在串流模式下達到 5.50% 的 WER,在非串流模式下達到 5.04% 的 WER。
  • 延遲: 與 Chirp 3 相比,產出最終逐字稿的時間縮短了 70%。
  • 語言支援: 該模型可自動偵測並逐字轉錄超過 85 種語言,包括地區口音和多樣化的方言。
  • Customization: 它支援自定義詞彙表以辨識專業術語和獨特的拼寫方式。

Google 生態系統整合

Google 正將該模型整合至多個消費者與開發者介面:

  • Gboard (Android): 「Rambler」功能使用 3.5 Transcribe 將口語想法轉化為格式化的文字,並允許進行語音編輯和風格變更。
  • Gemini App (macOS): 支援自然語音逐字稿以及與螢幕內容搭配的語音指令,用以摘要本地檔案或生成圖像。
  • Google Antigravity: 結合螢幕內容與對話歷史記錄,以提高檔案名稱和活動文件的逐字稿準確度。
  • Chrome: 即將推出的功能將允許使用者在任何網頁欄位中進行「說話即輸入 (talk to type)"。

社群回應與技術評論

雖然官方發佈強調了性能增益,但 Hacker News 上的開發者與使用者討論揭示了幾個爭議點與技術差距:

準確度 vs. 「智慧」編輯

部分使用者回報,會移除不流暢語音 (disfluencies) 的「智慧逐字稿」功能可能會在無意中移除具備意義的上下文。一位使用者指出,像是「我猶豫著要不要檢查它」這樣的短語被刪除,改變了句子的原意。

講者辨識 (Diarization) 與延遲

評論家指出,講者辨識功能目前僅限於三位講者(對於更多講者則仍處於實驗階段),這落後於 Soniox 和 Deepgram 等競爭對手。此外,一些開發者認為,雖然準確度很高,但對於高效能即時翻譯應用程式而言,延遲仍需改進。

可靠性與幻覺問題

使用者對該模型是否會繼承 Chirp 的幻覺問題表示擔憂。一位開發者提到,Chirp 有時會在遇到噪音或靜音時產生重複的文字(例如:「我不知道。我不知道。」),這導致他們使用 Whisper 進行時間戳記,並使用 Gemini Flash 進行修正的混合方案。

價格與可取得性

社群成員強調了公告中缺乏透明的定價。

Model Input Cost Output Cost
3.5 Transcribe Live $3.50 / 1M tokens (or $0.005/min audio) $21.00 / 1M tokens (or $0.004/min text)
3.5 Transcribe $2.00 / 1M tokens (or $0.003/min audio) $12.00 / 1M tokens (or $0.002/min text)

工具鏈與工作流程

部分開發者回報了 Google Cloud 帳單帳戶處理時間的摩擦,指出設定過程可能比 OpenRouter 等競爭對手花費更長的時間。

Sources

相關

  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch