OpenAI 一致性模型:快速單步生成式 AI
OpenAI 已推出一致性模型,這是一系列新的生成模型,旨在加速生成速度。透過直接將噪聲映射到數據,這些模型能夠實現高品質、單步生成,解決了傳統擴散模型所需的緩慢迭代取樣過程。
技術方法:直接噪聲到數據映射
一致性模型直接將噪聲映射到數據,設計上即可實現快速單步生成。與需要多次迭代來優化樣本的擴散模型不同,一致性模型能夠在單一步驟中產出高品質輸出。然而,它們保持靈活;它們支援多步取樣,允許用戶用增加的計算換取更高的樣本品質。
訓練方法:蒸餾與獨立訓練
一致性模型可透過兩種不同的訓練途徑部署:
- 蒸餾:它們可以通過蒸餾預訓練的擴散模型來進行訓練,這利用了現有的擴散基礎知識來加速生成。
- 獨立訓練:它們可以從零開始作為獨立的生成模型進行訓練,無需預先存在的擴散模型。
能力與零樣本數據編輯
除了簡單的生成之外,一致性模型在不需要為這些特定功能進行顯式訓練的情況下,支援零樣本數據編輯任務。這些能力包括:
- 圖像填充:填補圖像中缺失的部分。
- 上色:為灰階圖像添加顏色。
- 超解析度:提高圖像的解析度。
效能基準
一致性模型在單步和少數步取樣方面優於現有的擴散模型蒸餾技術。當作為獨立模型進行訓練時,它們在標準基準上優於現有的單步、非對抗性生成模型。
關鍵效能指標包括以下單步生成的最先進 FID 分數:
- CIFAR-10:3.55 FID
- ImageNet 64x64:6.20 FID
實驗在包括 CIFAR-10、ImageNet 64x64 和 LSUN 256x256 的標準基準上進行。
Sources
- OriginalConsistency Models
相關
- Dispatch
- Dispatch
- Dispatch
- Dispatch