Gemini 3.5 Transcribe 發佈說明
Gemini 3.5 Transcribe 提供智慧、即時的語音轉文字轉換
Google 已發佈 Gemini 3.5 Transcribe,這是一款語音轉文字 (STT) 模型,旨在將原始音訊轉換為精煉且格式化的文字。該模型與傳統語音辨識的不同之處在於,它能自動移除填充詞(如「嗯」、「啊」)、處理自我修正(例如:「我們週二見——不,週三見」),並自動格式化輸出以捕捉使用者的意圖,而不僅僅是字面上的語音。
API 可用性與實作
Gemini 3.5 Transcribe 可透過兩種不同的 API 提供給開發者,以支援不同的架構需求:
- 即時串流 (
gemini-3.5-transcribe-live): 可透過 Live API 存取,此版本提供具備亞秒級延遲的雙向串流,適用於互動式語音應用程式。 - 預錄音訊處理 (
gemini-3.5-transcribe): 可透過 Interactions API 存取,此版本處理錄音、會議記錄和通話記錄,並為最多三位講者提供講者辨識 (speaker attribution) 以及字級時間戳記。
開發者可以透過 Google AI Studio 中的 Gemini API 以及 Gemini Enterprise Agent Platform 存取這些模型。
技術性能與基準測試
Gemini 3.5 Transcribe 展現了較其前身 Chirp 3 的顯著改進,特別是在延遲和準確度方面:
- 字錯誤率 (WER): 根據 Artificial Analysis 的數據,該模型在串流使用情境下達到平均 4.0% 的 WER,在非串流使用情境下達到 2.6% 的 WER。在 FLEURS 基準測試中,它在串流模式下達到 5.50% 的 WER,在非串流模式下達到 5.04% 的 WER。
- 延遲: 與 Chirp 3 相比,產出最終逐字稿的時間縮短了 70%。
- 語言支援: 該模型可自動偵測並逐字轉錄超過 85 種語言,包括地區口音和多樣化的方言。
- Customization: 它支援自定義詞彙表以辨識專業術語和獨特的拼寫方式。
Google 生態系統整合
Google 正將該模型整合至多個消費者與開發者介面:
- Gboard (Android): 「Rambler」功能使用 3.5 Transcribe 將口語想法轉化為格式化的文字,並允許進行語音編輯和風格變更。
- Gemini App (macOS): 支援自然語音逐字稿以及與螢幕內容搭配的語音指令,用以摘要本地檔案或生成圖像。
- Google Antigravity: 結合螢幕內容與對話歷史記錄,以提高檔案名稱和活動文件的逐字稿準確度。
- Chrome: 即將推出的功能將允許使用者在任何網頁欄位中進行「說話即輸入 (talk to type)"。
社群回應與技術評論
雖然官方發佈強調了性能增益,但 Hacker News 上的開發者與使用者討論揭示了幾個爭議點與技術差距:
準確度 vs. 「智慧」編輯
部分使用者回報,會移除不流暢語音 (disfluencies) 的「智慧逐字稿」功能可能會在無意中移除具備意義的上下文。一位使用者指出,像是「我猶豫著要不要檢查它」這樣的短語被刪除,改變了句子的原意。
講者辨識 (Diarization) 與延遲
評論家指出,講者辨識功能目前僅限於三位講者(對於更多講者則仍處於實驗階段),這落後於 Soniox 和 Deepgram 等競爭對手。此外,一些開發者認為,雖然準確度很高,但對於高效能即時翻譯應用程式而言,延遲仍需改進。
可靠性與幻覺問題
使用者對該模型是否會繼承 Chirp 的幻覺問題表示擔憂。一位開發者提到,Chirp 有時會在遇到噪音或靜音時產生重複的文字(例如:「我不知道。我不知道。」),這導致他們使用 Whisper 進行時間戳記,並使用 Gemini Flash 進行修正的混合方案。
價格與可取得性
社群成員強調了公告中缺乏透明的定價。
| Model | Input Cost | Output Cost |
|---|---|---|
| 3.5 Transcribe Live | $3.50 / 1M tokens (or $0.005/min audio) | $21.00 / 1M tokens (or $0.004/min text) |
| 3.5 Transcribe | $2.00 / 1M tokens (or $0.003/min audio) | $12.00 / 1M tokens (or $0.002/min text) |
工具鏈與工作流程
部分開發者回報了 Google Cloud 帳單帳戶處理時間的摩擦,指出設定過程可能比 OpenRouter 等競爭對手花費更長的時間。
Sources
相關
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch