linto-ai/whisper-timestamped

Multilingual Automatic Speech Recognition with word-level timestamps and confidence

解決的問題

OpenAI 的 Whisper 模型提供高品質的多語言語音辨識，但缺乏精確的單字級時間戳，通常僅提供近似的段落級時間（精度通常僅有 1 秒）。whisper-timestamped 透過預測精確的單字時間戳，並提供更精確的語音段落估計，解決此問題。

工作原理

本專案實作一種基於動態時間扭曲（DTW）應用於交叉注意力權重的方法。這使得系統在每個語音段解碼後能即時將單字與音訊信號對齊，通常無需額外的推論步驟。同時為每個單字與段落分配置信度分數。

適用對象

需要高精度時間戳的開發者與研究人員，例如用於製作精確字幕、音訊與文字對齊，或跨多種語言分析語音模式。

主要特色

  • 單字級精確度：預測每個單字的精確開始與結束時間。
  • 置信度評分：為每個單字與段落分配置信度分數。
  • 記憶體效率高：與標準 Whisper 相比，處理長時間音訊檔案時額外記憶體開銷極小。
  • 支援 VAD：透過 Silero、Auditok 支援語音活動檢測（VAD），防止靜音期間產生幻覺。
  • 多語言支援：相容 openai-whisper 的任意版本，並支援 Hugging Face Hub 上的微調模型。

相關

  • 專案
    m-bain/whisperX

    透過批次推理、詞級時間戳和說話人日誌功能增強 OpenAI Whisper 的快速自動語音辨識系統。

  • Dispatch
    OpenAI Whisper 發布

    OpenAI 已發布 Whisper，一個自動語音辨識（ASR）系統，該系統在 68 萬小時的多語言與多任務監督資料上進行訓練，以提升在口音、噪音與語言方面的魯棒性。

  • 專案
    openai/whisper

    Whisper 是 OpenAI 開發的基於 Transformer 的開源語音轉文字系統，可處理多種語言的轉錄、語言識別和翻譯。它作為一個可透過 pip 安裝的套件發布，提供六種模型大小（tiny → large，以及快速的 “turbo” 版本）。透過 CLI (`whisper …`) 和簡單的 Python API (`whisper.load_model(...).transcribe(...)`)，只需少量指令即可將音訊檔案轉換為文字。該專案運行在 Python 3.8-3.11 和 PyTorch 上，並且需要 ffmpeg（可選需要 Rust 用於分詞器）。所有程式碼和模型權重均採用 MIT 授權。

  • 專案
    ggml-org/whisper.cpp

    一個高效能的 C/C++ 版 OpenAI Whisper 模型，可在多個平台上實現高效、離線、裝置端的自動語音辨識。

  • Dispatch
    Hugging Face 推理端點：快速 Whisper 轉錄

    Hugging Face 在推理端點上推出了全新的 OpenAI Whisper 部署選項，提供高達 8 倍的轉錄速度提升，且不犧牲準確度。