Deep-unlearning/smol-audio

Practical, Colab-friendly notebooks for fine-tuning and running audio AI models

何を解決するか

音声AIモデルの最適化とカスタマイズの実践的で実践的なガイドを提供し、特に自動音声認識（ASR）や音声キャプションなどの専門的なタスク向けにモデルの小型化とファインチューニングに焦点を当てています。

仕組み

このプロジェクトは、Hugging Faceエコシステムを使用してさまざまな音声モデルをファインチューニングする方法を示すJupyterノートブックのコレクションで構成されています。Whisper、Granite Speech、Audio Flamingo 3、Parakeet、Voxtralなどの複数のモデルアーキテクチャにおいて、フルファインチューニングと低ランク適応（LoRA）などのさまざまな技術をカバーしています。

対象ユーザー

既存の音声モデルをカスタム言語、特定のドメイン、または音声・動画検索や分類などの新しいタスクに適応させたい開発者やAI実践者。

主な特徴

  • Whisper、Granite Speech、Parakeet、Voxtralなど複数のモデルでのASRファインチューニング対応。
  • Audio Flamingo 3を用いた音声キャプションのガイド。
  • 効率的なモデルカスタマイズのためのフルファインチューニングとLoRAの実装。
  • MetaのPerception Encoder for Audio-Video（PE-AV）を用いたゼロショット動画分類および音声・テキスト検索の例。

関連

  • Dispatch
    Hugging Face FFASR リーダーボード: ファーフィールド ASR のベンチマーク

    Hugging Face と Treble Technologies は、現実的な音響環境におけるニアフィールドとファーフィールドの Automatic Speech Recognition (ASR) のパフォーマンスギャップを定量化する、最初のオープンコミュニティ主導のベンチマークである FFASR リーダーボードを発表しました。

  • Dispatch
    Hugging Face Transformers を使用した Whisper の多言語 ASR ファインチューニング

    Hugging Face は、OpenAI の Whisper モデルを多言語自動音声認識（ASR）向けにファインチューニングするための包括的なガイドを提供しており、わずか 8 時間のデータでヒンディー語に対して 31.5% の絶対的な WER 改善を実証しています。

  • Dispatch
    話音認識におけるベンチマーク最適化の測定

    Hugging Faceの研究により、一部のトップスコアのASRモデルが「benchmaxxing」を示していることが明らかになった。これは、音声と矛盾する場合でも、音響的ヒントを使ってベンチマーク固有の参照トランスクリプトを再現する行動を示す。

  • Dispatch
    低リソース音声認識のためのXLS-Rファインチューニング

    Hugging Faceは、Transformersライブラリを使用して低リソース音声認識（ASR）のためのクロスリンガル音声表現モデルXLS-Rのファインチューニングに関する技術ガイドを提供します。

  • プロジェクト
    jim60105/docker-whisperX

    WhisperX用の最適化されたDockerイメージのコレクション。単語レベルのタイムスタンプと話者分離を提供するASRモデルを事前にバンドルし、高速かつ効率的な音声認識（音声→テキスト変換）を実現します。