OpenAI Consistency Models: Fast One-Step Generative AI

OpenAIは、生成速度を加速させるために設計された新しい生成モデルのファミリーであるConsistency Modelsを導入しました。ノイズをデータに直接マッピングすることで、これらのモデルは高品質な1ステップ生成を可能にし、従来の拡散モデル（diffusion models）で必要とされる低速な反復サンプリングプロセスという課題を解決します。

Technical Approach: Direct Noise-to-Data Mapping

Consistency Modelsは、ノイズをデータに直接マッピングするため、設計段階から高速な1ステップ生成が可能です。サンプルを洗練させるために複数回の反復が必要な拡散モデルとは異なり、Consistency Modelsは単一のステップで高品質な出力を生成できます。しかし、柔軟性も維持されており、これらのモデルはマルチステップ・サンプリングをサポートしているため、計算量を増やしてサンプルの品質を高めるという選択が可能です。

Training Methods: Distillation and Standalone Training

Consistency Modelsは、2つの異なるトレーニング経路を使用してデプロイできます：

1. Distillation: 学習済みの拡散モデルを蒸留（distilling）することでトレーニングが可能であり、既存の拡散ベースの知識を活用して生成を加速させます。
2. Standalone Training: 既存の拡散モデルを必要とせず、独立した生成モデルとしてゼロからトレーニングすることが可能です。

Capabilities and Zero-Shot Data Editing

単純な生成にとどまらず、Consistency Modelsは、これらの特定の機能のために明示的なトレーニングを必要とせずに、ゼロショットのデータ編集タスクをサポートします。これらの機能には以下が含まれます：

• Image Inpainting: 画像の欠損部分を補完します。
• Colorization: グレースケール画像に色を付けます。
• Super-resolution: 画像の解像度を上げます。

Performance Benchmarks

Consistency Modelsは、1ステップおよび数ステップのサンプリングにおいて、既存の拡散モデルの蒸留技術を凌駕しています。スタンドアロンモデルとしてトレーニングされた場合、標準的なベンチマークにおいて既存の1ステップ、非敵対的（non-adversarial）な生成モデルを上回ります。

主要なパフォーマンス指標には、1ステップ生成における以下の最先端のFIDスコアが含まれます：

• CIFAR-10: 3.55 FID
• ImageNet 64x64: 6.20 FID

実験は、CIFAR-10、ImageNet 64x64、およびLSUN 256x256を含む標準的なベンチマークにわたって実施されました。