OpenAI 改进的训练一致性模型技术

TL;DR

OpenAI 已开发出改进的一致性训练技术，使生成模型能够在单一步骤中采样高质量数据，无需依赖对预训练扩散模型的蒸馏。该方法使一致性模型的质量超越蒸馏模型，缩小了一致性模型与其他最先进生成模型之间的差距。

Direct Data Learning vs. Distillation

一致性模型过去可能受到蒸馏过程的限制，其模型质量取决于所蒸馏的预训练扩散模型。为了解决这一问题，一致性训练（CT）让一致性模型直接从数据中学习，学习将概率流 ODE 轨迹上的任意点映射回原点。

Technical Improvements in Consistency Training

OpenAI 发现并纠正了先前在一致性训练目标中被忽视的缺陷。通过从教师一致性模型中去除指数移动平均（EMA），训练过程变得更加稳定和有效。

为了取代诸如 LPIPS（Learned Perceptual Image and Image Patch Similarity）等学习度量，这些度量可能在评估中引入不良偏差，采用了来自稳健统计的伪Huber 损失。此举将稳健统计损失函数取代了学习度量方法。

itle{