Deep-unlearning/smol-audio

Practical, Colab-friendly notebooks for fine-tuning and running audio AI models

解決的問題

提供實用且具操作性的指南，用於優化與客製化音訊AI模型，特別聚焦於將模型縮小並微調，以適應自動語音辨識（ASR）與音訊字幕等特定任務。

如何運作

本專案由一系列Jupyter筆記本組成，示範如何使用Hugging Face生態系對各種音訊模型進行微調。涵蓋多種技術，包括完整微調與低秩適應（LoRA），適用於Whisper、Granite Speech、Audio Flamingo 3、Parakeet與Voxtral等多種模型架構。

適用對象

希望將現有音訊模型適應至自訂語言、特定領域或新任務（如音訊-影像檢索與分類）的開發者與AI實務者。

主要亮點

  • 支援在多個模型（Whisper、Granite Speech、Parakeet、Voxtral）上進行ASR微調。
  • 提供使用Audio Flamingo 3進行音訊字幕的指南。
  • 實作完整微調與LoRA，以實現高效模型客製化。
  • 使用Meta的感知編碼器用於音訊-影像（PE-AV）進行零樣本影片分類與音訊-文字檢索的範例。

相關

  • Dispatch
    Hugging Face FFASR 排行榜：評測遠場 ASR

    Hugging Face 與 Treble Technologies 推出了 FFASR 排行榜，這是首個開放的社群驅動基準，用於量化近場與遠場 Automatic Speech Recognition (ASR) 在真實聲學環境中的效能差距。

  • Dispatch
    使用 Hugging Face Transformers 微調 Whisper 以支援多語言 ASR

    Hugging Face 提供了完整的指南，說明如何微調 OpenAI 的 Whisper 模型以支援多語言自動語音辨識（ASR），在僅使用 8 小時資料的情況下，於印地語上實現了 31.5% 絕對字錯誤率（WER）的提升。

  • Dispatch
    評估語音辨識中的基準優化現象

    Hugging Face 的研究揭示，部分表現優異的 ASR 模型出現「基準最大化」現象，即它們會根據聲學線索重複基準特定的參考文字，即使這些文字與音訊內容矛盾。

  • Dispatch
    為低資源自動語音辨識進行 XLS-R 微調

    Hugging Face 提供了一份關於如何使用 Transformers 函式庫微調 XLS-R（一種跨語言語音表示模型）以進行低資源自動語音辨識 (ASR) 的技術指南。

  • 專案
    jim60105/docker-whisperX

    一組為 WhisperX 優化的 Docker 映像，提供預打包的 ASR 模型，支援詞彙級時間戳，實現快速且高效的語音轉文字轉錄。