CLIP潜在変数を用いた階層的テキスト条件付き画像生成

OpenAIは、CLIP（Contrastive Language-Image Pre-training）潜在変数を活用した階層的アプローチのテキスト条件付き画像生成を導入しました。プロセスをプライアとデコーダに分離することで、画像の多様性が向上し、ゼロショット画像操作といった高度な機能が可能になります。

二段階生成アーキテクチャ

このシステムは、CLIPが学習した堅牢な意味的およびスタイル的表現を活用するよう設計された二段階モデルとして機能します。

プライア

最初の段階はプライアで、テキストキャプションからCLIP画像埋め込みを生成します。OpenAIはこのコンポーネントに対して自己回帰モデルと拡散モデルの両方を実験しました。研究者は、プライアに拡散モデルを使用する方が計算効率が高く、自己回帰版よりも高品質なサンプルが得られることを発見しました。

デコーダ

二番目の段階はデコーダで、プライアが生成した画像埋め込みを受け取り、その埋め込みに条件付けされた最終画像を生成します。研究者はデコーダ段階にも拡散モデルを利用しました。

主な技術的改善点と機能

画像多様性の向上

画像表現（CLIP潜在変数）を先に明示的に生成することで、フォトリアリズムや元のテキストキャプションとの類似性をほとんど損なうことなく、生成画像の多様性が向上します。

意味とスタイルの保持

デコーダがCLIP画像表現に条件付けられているため、元画像の核心的な意味とスタイルを保持しつつ、画像表現に捕らえられない非本質的なディテールを変化させたバリエーションを生成できます。

ゼロショット画像操作

CLIPの共同埋め込み空間により、言語ガイドによる画像操作がゼロショットで可能になります。つまり、特定の編集に対する追加学習なしに、テキストプロンプトに基づいて画像を変更できるということです。

モデルコンポーネントの概要

コンポーネント	使用モデルタイプ	主な機能
Prior	拡散モデル	テキストキャプション → CLIP画像埋め込み
Decoder	拡散モデル	CLIP画像埋め込み → 最終画像