テキストと参照音声からの音声生成：現在の状況と利用可能なモデル

完全に商業的なテキスト＋参照音声モデルはまだ存在しない

現在、参照音声とテキスト指示を受け取り、一致する新しい音声クリップを出力する、広く利用可能でプロダクションレベルのモデルは存在しません。ElevenLabsのような既存の商業サービスは純粋なテキストから音声への変換に焦点を当てており、研究用プロトタイプは品質が低かったり、複雑な回避策を必要とします。

ボイスクラウンティングシステムが部分的な解決策を提供

ボイスクラウンティングモデルは短い音声サンプルとテキストプロンプトを入力し、参照ボイスを模倣した発話音声を生成できます。たとえば、Qwen‑3 TTSには、提供されたボイスサンプルのトーンを使って任意のテキストを読み上げる「clone」機能が含まれています。ユーザーは個人用オーディオブックで満足のいく結果を得ていると報告していますが、出力は任意のサウンドエフェクトではなく、話された言語に限定されます。

"私は母のためにQWEN3 TTSのclone機能を使ってカスタマイズされたオーディオブックを作りました。かなりうまくいきました。" – @jajazheng

研究用プロトタイプが音声生成を狙う

テキストおよび／または参照埋め込みに基づいて音声を生成することを目指すいくつかのオープンソースプロジェクトがあります：

AudioLDM / AudioLDM‑2 と AudioX は、テキスト記述から音声を合成できる拡散ベースのモデルです。これらはまだ実験的であり、特に音楽以外のサウンドエフェクトでは低解像度の結果を多く出力します。

"AudioXとAudioLDM(2)モデルはこれができるようですが、あなたが見つけたのは本物のギャップだと思います。" – @chr15m
Stable Audio 3 はテキスト＋参照生成をサポートすると主張していますが、初期ユーザーは非常に悪い音質を報告しており、技術がまだプロダクション準備ができていないことを示しています。
Suno/Lyria は音楽生成モデルですが、生成後に望ましい要素を分離することでサウンドエフェクト合成に再利用できる可能性があります。ただし、主に音楽データで訓練されています。

"技術的には音楽用に訓練されていますが、Suno/Lyriaがこれができるかどうかテストしてみる価値はあるかもしれません。" – @moonu

埋め込みベースの検索と条件付け

CLAP（対照的言語音声事前学習）のようなプロジェクトは、画像用のCLIPに類似した音声埋め込みを生成します。CLAPは直接音声を合成しませんが、テキストクエリに基づいて既存のサウンドライブラリを検索またはランク付けするのに使用でき、より大きなパイプラインの一部としての可能性があります。

"CLAPは音声埋め込みを生成します——視覚入力に対してCLIPが行うのと似ています。" – @bobosha

スペクトログラム操作による間接ワークフロー

創造的な回避策として、音声を画像として扱う方法があります：参照音声をスペクトログラムに変換し、そのスペクトログラムとテキストプロンプトを画像生成モデル（例：Stable Diffusion）に供給し、変更されたスペクトログラムを波形に戻すという手順です。このアプローチはスケールでテストされておらず、アーティファクトを引き起こす可能性がありますが、既存の画像モデルが音声タスクに再利用できる可能性を示しています。

"画像モデルはスペクトログラム画像の操作にどれほど優れているでしょうか？入力音声をスペクトログラムに変換 → スペクトログラム＋プロンプトを画像モデルに渡す → 波形に戻す。" – @xg15

プロシージャル合成のためのコード生成

別のアプローチとして、SuperColliderやFaustなどのツールを使って音声を合成するコードを生成する方法があります。直接的なテキスト＋参照モデルではありませんが、ドメイン固有の知識と組み合わせることで、AIが生成したコードはカスタムサウンドエフェクトを生成できます。

"AIを使って音声を合成するコードを生成する方法を検討すべきです。" – @soundworlds

新たなプラットフォームとサービス

Daydream Music は音声ツールとの統合を備えたリアルタイムエンジンを提供していますが、任意のサウンドエフェクト生成ではなく、音楽制作に焦点を当てています。

"Daydream Music – DEMONリアルタイムエンジンはオープンソースです。ホスティングサービスは、人気のある音声ツールとの複数の統合を備えています。" – @jallmann

状況の要約

現在、テキスト＋参照音声 → 新しい音声というユースケースを完全に満たす即戦力の商業製品は存在しません。
ボイスクラウンティングツール（例：Qwen‑3 TTS）は参照ボイスを模倣できますが、発話に限定されます。
研究用拡散モデル（AudioLDM、AudioX）は実験的な機能を提供しますが、解像度に制限があります。
埋め込みモデル（CLAP）は検索は可能ですが、合成はできません。
スペクトログラム・画像パイプラインとコード生成は有望な研究方向ですが、大幅なエンジニアリングが必要です。

結論：この分野は2016年頃の画像生成と同程度の初期段階にあります。成熟した商業ソリューションが登場するまで、実務者は既存のボイスクラウンティング、拡散プロトタイプ、または創造的な回避策を組み合わせて、望ましい機能を近似的に実現する必要があります。