OpenAI、Consistency Modelsのトレーニングにおける改善技術を発表

TL;DR

OpenAIは、Consistency Modelsにおいて拡散モデルの蒸留（distillation）を不要にする一連のトレーニング改善策をリリースしました。これにより、CIFAR-10で2.51、ImageNet 64×64で3.25というシングルステップのFIDスコアを達成し、これは従来のConsistency Trainingの結果よりも約3.5倍から4倍向上しています。

背景：Consistency Modelsとその限界

Consistency Modelsは、拡散モデルの反復的なサンプリングを回避し、単一の推論ステップでデータを生成します。歴史的に、これらは事前学習済みの拡散モデルからの蒸留（distillation）と、トレーニングをガイドするためのLPIPSのような学習済み知覚的メトリクスに依存してきました。これらの依存関係は、最終的なサンプルの品質を教師となる拡散モデルの性能に制限し、LPIPSによる評価バイアスを導入してしまいます。

データからの直接トレーニングによる蒸留の排除

OpenAIの新しいアプローチは、拡散モデルの教師から蒸留するのではなく、生のデータから直接Consistency Modelsをトレーニングします。教師・生徒パイプラインを排除することで、モデルはもはや拡散モデルの品質に制限されず、従来のConsistency Modelの限界を超えることが可能になります。

理論的な欠陥の修正：教師モデルからのEMAの除去

分析の過程で、著者らは以前は見落とされていた欠陥を特定しました。教師となるConsistency Modelに適用されるExponential Moving Average (EMA)が、Consistencyの目的関数を妨げているのです。解決策は、教師モデルからEMAを排除することであり、これによりトレーニングが安定し、収束が改善されます。

LPIPSをPseudo-Huber Lossに置き換える

LPIPSは知覚的な類似性には有用ですが、トレーニングの目的関数にバイアスを与えます。OpenAIはこれをPseudo-Huber lossに置き換えました。これは、誤差がゼロに近いときはL2の滑らかさを持ち、外れ値に対してはL1の耐性を持つ、ロバスト統計学的な損失関数です。この変更により、より信頼性の高い勾配が得られ、視覚的な忠実度が高まります。

Lognormal Noise Scheduleとステップの倍増

追加で2つのトレーニングのテクニックが導入されました：

  1. Lognormal noise schedule – 注入されるノイズの分散が対数正規分布に従い、タイムステップ全体にわたってデータ多様体のスケールにより良く適合します。
  2. Dynamic discretization steps – 離散化ステップの総数は、一定のトレーニング反復回数の後に倍増されます。これにより、トレーニングが進むにつれてConsistencyの目的関数の解像度が効果的に向上します。

ハイパーパラメータのチューニングと全体的な成果

包括的なハイパーパラメータ探索が、アーキテクチャの変更を補完します。これらの組み合わせの効果により、単一のサンプリングステップにおいて、FIDスコア2.51 (CIFAR-10) および 3.25 (ImageNet 64×64) が達成され、これは従来のConsistency Trainingのベースラインと比較して3.5倍および4倍の改善を表しています。

2ステップ・サンプリングによるさらなる品質向上

モデルに2回目のサンプリングステップを許可すると、FIDスコアは2.24 (CIFAR-10) および 2.77 (ImageNet 64×64) に向上します。これらの結果は、1ステップおよび2ステップの両方のレジームにおいて、蒸留（distillation）を介して得られた結果を上回り、Consistency Modelsと、より広範な最先端の生成モデルのクラスとの間の性能差を縮めています。

生成モデリングへの影響

  • 効率性 – 単一ステップのサンプリングは、Consistency Modelsの速度の利点を維持しつつ、マルチステップの拡散モデルに匹敵する品質を達成します。
  • 単純性 – 蒸留（distillation）を排除することでトレーニングパイプラインを単純化し、計算オーバーヘッドを削減し、大規模な拡散モデルの教師を必要としなくさせます。
  • ベンチマークの進展 – 報告されたFIDスコアは、標準的な画像合成ベンチマークにおけるConsistency Modelsの新たな最先端（state-of-the-art）を確立しました。

今後の方向性

OpenAIの知見は、さらなる研究の道筋を示唆しています。例えば、対数正規スケジュールを対数正規スケジュールをより高解像度なデータセットに拡張すること、代替のロバストな損失関数を探索すること、そしてConsistency Trainingを条件付き生成タスクに統合することなどが挙げられます。

すべての図および主張は、2024-06-20付のOpenAIの発表から直接引用されています。

Sources