lucidrains/autoregressive-diffusion-pytorch

What it solves

這項專案實作了一種生成影像的方法，不需要向量量化（VQ），而這在許多自回歸影像模型中是常見的要求。它允許使用基於擴散的方法來將影像數據處理為一系列的 token。

How it works

本函式庫提供了一個 PyTorch 實作，對應於論文 "Autoregressive Image Generation without Vector Quantization" 中描述的架構。它將影像視為 patch（token）序列，並應用自回歸擴散過程來生成它們。它還包含了一個使用 flow matching（透過 ImageAutoregressiveFlow）的改進版本，以提供替代的生成路徑。

Who it's for

研究人員與開發人員，特別是那些對影像合成與傳統基於 VQ 的自回歸模型之替代架構感興趣的人士。

Highlights

• 支持影像生成而不使用向量量化。
• 包含一個專用的 ImageTrainer 以簡化在影像數據集上的訓練過程。
• 提供標準的自回歸擴散版本與 flow-matching 版本。
• 支持探索性建模，允許在每個時間步長（timestep）針對多個候選者中的最佳者進行訓練。