Embedding Gemma Transcribe：高速端侧语音转文字

核心创新：重用多模态嵌入进行转录

Embedding Gemma Transcribe 通过利用 Google EmbeddingGemma 2 模型的共享潜在空间，实现了高速的端侧语音转文字。由于该模型旨在将音频和文本置于相同的向量空间中，系统将音频短片段直接映射到约 229,000 个英语单词中最匹配的项。随后，一个轻量级的辅助模型会对生成的输出应用标点符号和大小写。这种方法使得在基础款 M3 MacBook Air 上，处理一小时音频的转录速度约为 13 秒。

技术实现

该系统通过保持 EmbeddingGemma 2 的原始音频编码器完整，同时训练一个小型读取器组件来弥合音频片段与文本标记之间的差距。该读取器的训练过程极简，使用公开授权的英语语音数据，在 8xH100 GPU 上训练时间不到两小时。基础模型本身并未针对语音转文字任务进行显式训练，这证明了利用现有的多模态嵌入空间进行下游应用的高效性。

性能与基准测试

在 Apple Neural Engine 上运行，该模型展现出比传统语音转文字架构显著的吞吐量优势。在配备 8GB 内存的基础款 M3 MacBook Air 上，该模型的音频处理速度达到实时速度的 288 倍。目前的性能指标显示词错误率 (WER) 约为 5%，开发人员旨在通过进一步训练读取器组件来改善这一指标。

模型	硬件	速度 (实时倍率)
Embedding Gemma Transcribe	M3 MacBook Air (Neural Engine)	288x
IBM Granite Speech 5.0 TurboCTC	M3 MacBook Air (GPU/MLX)	150x

社区见解与观察

开发者社区的讨论突显了这种方法的技术潜力及当前局限性：

• 语言支持： 目前的实现针对英语进行了优化。用户指出，虽然它可以尝试转录其他语言（如葡萄牙语），但质量显著降低，社区对扩展支持多语言数据集有很高的兴趣。
• 泛化担忧： 一些观察者质疑该模型处理词汇表外单词的能力，因为该架构依赖于将音频片段匹配到固定的 229,000 个单词集合中。
• 硬件优化： 有经验的用户指出，将模型转换为 CoreML 以适配 Apple Neural Engine 是提高 macOS 上推理速度的一种非常有效的策略，通常比基于 CPU 的执行带来数量级的提升。
• 开发背景： 项目创建者 Shahir 强调，该工具是一个用于探索共享向量空间的实验性概念验证。未来的迭代预计将专注于提高准确性，并可能增加文本转语音 (TTS) 功能。

"现有事物实现一到两个数量级的提升，就不再仅仅是数量上的升级，而本身就成为了一种质量上的升级，因为它提供了以前无法实现的工作流程。" — @handle

这种观点反映了社区对本地高速转录工具快速演变的广泛反应，这些工具在相对较短的时间内从不可用转变为高效可用。