OpenAI の一貫性モデル訓練の改良技術

TL;DR

OpenAI は、一貫性訓練の改良手法を開発し、事前学習済み拡散モデルからの蒸留に依存せずに、生成モデルが単一ステップで高品質なデータをサンプリングできるようにしました。このアプローチにより、一貫性モデルは蒸留モデルの品質を上回り、一貫性モデルと他の最先端生成モデルとのギャップが縮小します。

直接データ学習 vs. 蒸留

従来、一貫性モデルは蒸留プロセスに制約されており、モデルの品質は蒸留元となる事前学習済み拡散モデルに依存していました。この課題に対処するために、一貫性訓練（CT）ではモデルがデータから直接学習し、確率フロー ODE 軌道上の任意の点を原点へマッピングすることを学習します。

一貫性訓練における技術的改善

OpenAI は、一貫性訓練目的関数に以前見過ごされていた欠陥を特定し修正しました。教師一貫性モデルから指数移動平均（EMA）を除去することで、訓練プロセスがより安定かつ効果的になります。

評価時に望ましくないバイアスをもたらす可能性のある LPIPS（Learned Perceptual Image Patch Similarity）などの学習済み指標に代わり、ロバスト統計から得られる Pseudo‑Huber 損失を採用しました。このロバスト統計的損失関数へのシフトにより、学習済み指標アプローチが置き換えられます。

itle{ 

SUMMARY: OpenAI は、蒸留を行わずにデータから直接学習できる改良された一貫性訓練手法を導入し、CIFAR‑10 と ImageNet 64×64 において FID スコアを大幅に改善しました。

TITLE: OpenAI の一貫性モデル訓練の改良技術