SpeechT5: 統合モーダル エンコーダーデコーダーによる音声処理

概要

SpeechT5 は、単一のアーキテクチャ内で複数の音声言語処理タスクを扱うことを目的とした統合モーダル エンコーダーデコーダーモデルです。テキスト音声変換、音声文字変換、テキスト文字変換、音声間変換のデータを混合して事前学習することで、テキストと音声の両方で共有される統一された隠れ表現空間を構築します。

コアアーキテクチャ

SpeechT5 は、すべてのタスクに対して標準的な Transformer エンコーダーデコーダーをバックボーンとして利用します。多様なデータタイプを処理できるように、モデルはモジュラーな「pre-nets」と「post-nets」を採用しています。

  • Pre-nets: 入力テキストまたは音声を、Transformer エンコーダが必要とする隠れ表現に変換します。
  • Post-nets: Transformer の出力隠れ表現をテキストまたは音声に戻します。

モデルはすべての pre-nets と post-nets を同時に使用して事前学習されますが、特定のタスク向けにファインチューニングされます。ファインチューニング後は、タスクに関連する pre-nets と post-nets のみが使用されます。ファインチューニングプロセスで重みが変化するため、あるタスク（例: ASR）用にファインチューニングされたモデルを別のタスク（例: TTS）に単に pre-nets と post-nets を入れ替えるだけでは変換できません。

テキスト音声変換（TTS）機能

技術的実装

  • Text encoder pre-net: トークンを隠れ表現にマッピングするテキスト埋め込み層です。
  • Speech decoder pre-net: ログメルスペクトログラムを隠れ表現に圧縮する線形層のシーケンスです（Tacotron 2 に基づく）。
  • Speech decoder post-net: 出力スペクトログラムを改善するための残差を予測するモジュールです（Tacotron 2 に基づく）。

音声生成ワークフロー

最終的な波形を生成するために、モデルはログメルスペクトログラムを生成し、これをボコーダで処理する必要があります。Hugging Face はこの目的のために HiFi-GAN ベースのボコーダ（SpeechT5HifiGan）を提供しています。システムは 16 kHz の一定サンプルレートで動作します。

音声間変換とボイスコンバージョン

SpeechT5 は、テキストエンコーダ pre-net を音声エンコーダ pre-net に置き換えることで、音声間変換やボイスコンバージョンなどの音声間タスクを実行できます。

技術的実装

  • Speech encoder pre-net: このモジュールは畳み込み層を使用して入力波形を音声フレーム表現にダウンサンプリングし、wav2vec 2.0 に見られる同じ特徴エンコーディングモジュールを利用します。

ボイスコンバージョンは、入力音声波形とターゲットスピーカー埋め込みをモデルに提供することで実現され、モデルは元の声をターゲットスピーカーの特徴に変換します。

自動音声認識（ASR）

SpeechT5 は、文字起こしとスピーカー識別のための音声からテキストへの機能を提供します。

技術的実装

  • Speech encoder pre-net: 音声間モデルで使用されるのと同じ CNN 特徴エンコーダ（wav2vec 2.0）です。
  • Text decoder pre-net: テキストトークンを隠れ表現にマッピングする埋め込み層です。
  • Text decoder post-net: 隠れ表現を語彙上の確率に投影する単一の線形層です。

トークナイザーが文字レベルで動作するため、得られる ASR の文字起こしには句読点や大文字は含まれません。

汎用性の概要

統合された ASR、TTS、ボイスコンバージョンのチェックポイントに加えて、元の研究では SpeechT5 アーキテクチャが音声翻訳、音声強調、スピーカー識別にも対応できることが示されています。

Sources