OpenAI 改進的一致性模型訓練技術

TL;DR

OpenAI 開發了改進的一致性訓練技術，使生成模型能在單一步驟中抽樣高品質資料，且不再依賴從預訓練擴散模型蒸餾。此方法讓一致性模型的品質超越蒸餾模型，縮小了一致性模型與其他最先進生成模型之間的差距。

Direct Data Learning vs. Distillation

一致性模型過去常受到蒸餾過程的限制，其模型品質過度依賴所蒸餾的預訓練擴散模型。為了解決這個問題，一致性訓練（CT）讓一致性模型直接從資料學習，學會將機率流 ODE 軌跡上的任意點映射回原點。機率流 ODE 軌跡回到原點的映射。

Technical Improvements in Consistency Training

OpenAI 發現並修正了先前在一致性訓練目標中被忽略的缺陷。透過從教師一致性模型中移除指數移動平均（EMA），訓練過程變得更穩定且更有效。

為了取代可能在評估中引入不良偏差的學習度量指標，如 LPIPS（Learned Perceptual Image and Image Patch Similarity），採用了來自魯棒統計的 Pseudo‑Huber 損失。此轉變使用魯棒統計損失函數取代了學習度量的做法。

itle{ 

SUMMARY: OpenAI has introduced improved consistency training techniques that allow generative models to learn directly from data without distillation, achieving significant FID score improvements on CIFAR-10 and ImageNet 64x64.

TITLE: OpenAI Improved Techniques for Training Consistency Models