T2I-Adapters を用いた SDXL の効率的な制御可能な生成

T2I-Adapter-SDXL は、ベースモデルを凍結したまま外部信号を使用して Stable Diffusion XL (SDXL) の生成を制御できる軽量なプラグアンドプレイ ガイダンス モデルです。内部モデル知識と外部制御信号を整合させることで、T2I-Adapters は豊富な編集および制御効果を達成するための ControlNet の計算効率の高い代替手段を提供します。

ControlNet との効率の向上

T2I-Adapters は、ControlNet と比較してパラメータ数と計算コストを大幅に削減します。ControlNet はデノイジングの各ステップで ControlNet と UNet の両方を実行し、UNet エンコーダーのコピーを含む必要がありますが、T2I-Adapters はデノイジング プロセス全体で一度だけ実行されます。

SDXL ベースの制御モデルのモデル パラメータとストレージ (fp16) の比較：

Model Type Model Parameters Storage (fp16)
ControlNet-SDXL 1251 M 2.5 GB
ControlLoRA (rank 128) 197.78 M 396 MB
T2I-Adapter-SDXL 79 M 158 MB

示されているように、T2I-Adapter-SDXL は ControlNet-SDXL と比較してパラメータ数を 93.69%、ストレージを 94% 削減します。

技術的実装とトレーニング

T2I-Adapter-SDXL は、小さな 79M パラメータ アダプターを使用して 2.6B パラメータの SDXL モデルを駆動します。モデルは、diffusers ライブラリを使用して LAION-Aesthetics V2 データセットの 300 万枚の高解像度画像テキスト ペアでトレーニングされました。

トレーニング設定

  • トレーニング ステップ: 20,000 から 35,000
  • バッチ サイズ: 合計バッチ サイズ 128 (GPU 1 つあたり 16、データ並列)
  • 学習率: 定数 1e-5
  • ミックスド プレシジョン: fp16

Diffusers での生成の制御

diffusers ライブラリとの統合は、StableDiffusionXLAdapterPipeline を介して行われます。生成プロセスでは、条件画像（たとえば、ラインアート マップ）を準備し、プロンプトとともにパイプラインに渡す必要があります。

主な制御パラメータ

2 つの主要な引数により、ユーザーはアダプターの影響を細かく調整できます：

  1. adapter_conditioning_scale: 条件効果の強さを制御します。値が大きいほど、外部信号の出力への影響が増します。
  2. adapter_conditioning_factor: デノイジング プロセス中の条件適用の期間を決定します。値が 1.0 の場合、すべてのタイムステップにアダプターが適用され、0.5 の場合、最初の 50% のステップにのみ適用されます。

サポートされている条件付けモダリティ

T2I-Adapter-SDXL は、いくつかの異なる制御信号の事前トレーニング済みチェックポイントを提供し、多様な画像生成ワークフローを可能にします：

  • Lineart Guided: TencentARC/t2i-adapter-lineart-sdxl-1.0 モデルを使用します。
  • Sketch Guided: TencentARC/t2i-adapter-sketch-sdxl-1.0 モデルを使用します。
  • Canny Guided: TencentARC/t2i-adapter-canny-sdxl-1.0 モデルを使用します。
  • Depth Guided: TencentARC/t2i-adapter-depth-midas-sdxl-1.0 および TencentARC/t2i-adapter-depth-zoe-sdxl-1.0 を介して利用可能です。
  • OpenPose Guided: TencentARC/t2i-adapter-openpose-sdxl-1.0 モデルを使用します。

Sources