linto-ai/whisper-timestamped

Multilingual Automatic Speech Recognition with word-level timestamps and confidence

解决的问题

OpenAI 的 Whisper 模型提供高质量的多语言语音识别，但缺乏精确的单词级时间戳，通常仅提供近似的段落级时间（精度往往只有 1 秒）。whisper-timestamped 通过预测准确的单词时间戳，并提供更精确的语音段落估计，解决了这一问题。

工作原理

该项目基于动态时间规整（DTW）应用于交叉注意力权重的方法实现。这使得系统在每个语音段解码后能够实时将单词与音频信号对齐，通常无需额外的推理步骤。它还为每个单词和段落分配置信度分数。

适用人群

需要高精度时间戳的开发者和研究人员，例如用于创建准确字幕、音频与文本对齐，或跨多种语言分析语音模式。

主要亮点

  • 单词级精度：预测每个单词的精确开始和结束时间。
  • 置信度评分：为每个单词和段落分配置信度分数。
  • 内存高效：与标准 Whisper 相比，处理长音频文件时额外内存开销极小。
  • 支持 VAD：通过 Silero、Auditok 支持语音活动检测（VAD），防止静音期间产生幻觉。
  • 多语言支持：兼容 openai-whisper 的任意版本，并支持 Hugging Face Hub 上的微调模型。

相关

  • 项目
    m-bain/whisperX

    通过批处理推理、词级时间戳和说话人日志功能增强 OpenAI Whisper 的快速自动语音识别系统。

  • Dispatch
    OpenAI Whisper 发布

    OpenAI 已发布 Whisper，这是一款自动语音识别（ASR）系统，经过 680,000 小时的多语言和多任务监督数据训练，以提升对口音、噪声和语言的鲁棒性。

  • 项目
    openai/whisper

    Whisper 是 OpenAI 开发的基于 Transformer 的开源语音转文本系统，可处理多种语言的转录、语言识别和翻译。它作为一个可通过 pip 安装的包发布，提供六种模型大小（tiny → large，以及快速的 “turbo” 版本）。通过 CLI (`whisper …`) 和简单的 Python API (`whisper.load_model(...).transcribe(...)`)，只需少量命令即可将音频文件转换为文本。该项目运行在 Python 3.8-3.11 和 PyTorch 上，并且需要 ffmpeg（可选需要 Rust 用于分词器）。所有代码和模型权重均采用 MIT 许可。

  • 项目
    ggml-org/whisper.cpp

    一个高性能的 C/C++ 版本 OpenAI Whisper 模型，可在多个平台上实现高效、离线、设备端的自动语音识别。

  • Dispatch
    Hugging Face 推理端点：快速 Whisper 转录

    Hugging Face 在推理端点上推出了新的 OpenAI Whisper 部署选项，实现了高达 8 倍的转录速度提升，同时不牺牲准确性。