Gemini 3.5 Transcribe 发布说明

Gemini 3.5 Transcribe 提供智能、实时的语音转文本转换

Google 发布了 Gemini 3.5 Transcribe，这是一款旨在将原始音频转换为精炼、格式化文本的语音转文本 (STT) 模型。该模型通过自动移除填充词（"ums" 和 "ahs"）、处理自我修正（例如，“let’s meet Tuesday—no, Wednesday”）以及自动格式化输出以捕捉用户意图而非仅仅是字面语音，从而使其区别于传统的语音识别技术。

API 可用性与实现

Gemini 3.5 Transcribe 通过两种不同的 API 为开发者提供支持，以满足不同的架构需求：

• 实时流式传输 (gemini-3.5-transcribe-live): 可通过 Live API 访问，此版本提供具有亚秒级延迟的双向流式传输，适用于交互式语音应用。
• 预录制音频处理 (gemini-3.5-transcribe): 可通过 Interactions API 访问，此版本处理录制的音频、会议记录和通话记录，并为最多三位发言人提供发言人识别 (speaker attribution) 并提供词级时间戳。

开发者可以通过 Google AI Studio 中的 Gemini API 和 Gemini Enterprise Agent Platform 访问这些模型。

技术性能与基准测试

Gemini 3.5 Transcribe 与其前身 Chirp 3 相比，在延迟和准确性方面表现出显著改进：

• 词错误率 (WER): 根据 Artificial Analysis 的数据，该模型在流式传输场景下达到 4.0% 的平均 WER，在非流式传输场景下达到 2.6% 的平均 WER。在 FLEURS 基准测试中，它在流式模式下达到 5.50% 的 WER，在非流式模式下达到 5.04% 的 WER。
• 延迟: 与 Chirp 3 相比，生成最终转录文本的时间缩短了 70%。
• 语言支持: 该模型可以自动检测并转录超过 85 种语言，包括地区口音和多种方言。
• 自定义: 它支持自定义词汇表以识别专业术语和独特的拼写方式。

Google 生态系统集成

Google 正在将该模型集成到多个消费者和开发者界面中：

• Gboard (Android): "Rambler" 功能使用 3.5 Transcribe 将口语化的想法转化为格式化文本，并允许进行基于语音的编辑和风格更改。
• Gemini App (macOS): 支持自然语音转录和语音命令，可结合屏幕上下文来总结本地文件或生成图像。
• Google Antigravity: 将屏幕上下文与聊天记录结合，以提高文件名和活动文档的转录准确性。
• Chrome: 即将推出的功能将允许用户在任何 Web 表单字段中进行“语音输入 (talk to type)”。

社区反馈与技术批评

虽然官方发布会强调了性能提升，但 Hacker News 上的开发者和用户讨论揭露了几个争议点和技术差距：

准确性 vs. "智能" 编辑

一些用户报告称，这种移除不流利表达 (disfluencies) 的“智能转录”功能可能会在无意中移除有意义的上下文。一位用户指出，诸如 "I hesitated to check it" 之类的短语被删除了，从而改变了句子的原意。

发言人识别 (Diarization) 与延迟

批评者指出，发言人识别 (speaker diarization) 目前仅限于三位发言人（对于更多发言人则处于实验阶段），这落后于 Soniox 和 Deepgram 等竞争对手。此外，一些开发者认为，虽然准确性很高，但对于高性能实时翻译应用而言，延迟仍需改进。

可靠性与幻觉问题

用户对该模型是否会继承 Chirp 的幻觉问题表示担忧。一位开发者提到，Chirp 有时会在遇到噪声或静音时生成重复性文本（例如，“I don't know. I don't know.”），这导致他们不得不采用一种混合方案：使用 Whisper 进行时间戳处理，并使用 Gemini Flash 进行修正。

价格与可访问性

社区成员强调了发布公告中缺乏透明的价格信息。根据 API 文档，成本如下：

Model	Input Cost	Output Cost
3.5 Transcribe Live	$3.50 / 1M tokens (or $0.005/min audio)	$21.00 / 1M tokens (or $0.004/min text)
3.5 Transcribe	$2.00 / 1M tokens (or $0.003/min audio)	$12.00 / 1M tokens (or $0.002/min text)

工具链与工作流

一些开发者报告了 Google Cloud 计费账户处理时间的摩擦，指出设置过程可能比 OpenRouter 等竞争对手慢得多。