senstella/parakeet-mlx
An implementation of the Nvidia's Parakeet models for Apple Silicon using MLX.
解決的問題
它提供了一種在 Apple Silicon 硬體上使用 MLX 框架運行 Nvidia 的 Parakeet 自動語音辨識 (ASR) 模型的方法，實現高效的本地音訊轉錄。
工作原理
此專案在 MLX 中實現了 Parakeet 模型架構，允許使用者從 Hugging Face 加載預訓練權重。它支援多種模型變體（TDT、RNNT、CTC、TDTCTC），並提供多種解碼方法，例如貪婪解碼和束搜尋。為了處理長音訊檔案，它內建了分塊機制和局部注意力，以降低記憶體使用量。
適用對象
需要高效率、本地語音轉文字轉錄功能，並支援時間戳和串流音訊的 Apple Silicon Mac 開發者與使用者。
主要特色
- 多種輸出格式：支援將轉錄結果匯出為 TXT、SRT、VTT 和 JSON 格式。
- 精確的時間戳：提供音訊的詞級與句子級對齊。
- 串流支援：內建
transcribe_stream方法，支援即時轉錄。 - 靈活的解碼方式：針對 TDT 模型提供可調整的束搜尋參數（束大小、長度懲罰、耐心度）。
- 記憶體優化：實作局部注意力，以在不造成過度記憶體消耗的情況下處理長音訊序列。
相關
- 專案
- 專案
- 專案
- 專案