lucidrains/autoregressive-diffusion-pytorch

它解决了什么问题

此项目实现了一种无需向量量化（VQ）即可生成图像的方法，而向量量化是许多自回归图像模型中的常见需求。它允许使用基于扩散的方法将图像数据视为一系列标记（tokens）进行生成。

它如何工作

该库提供了论文《无向量量化的自回归图像生成》中描述的架构的 PyTorch 实现。它将图像视为补丁（标记）序列，并应用自回归扩散过程来生成图像。它还包含一个通过 ImageAutoregressiveFlow 实现的改进版本，用于替代生成路径的流匹配（flow matching）。

适用人群

从事生成式 AI 的研究人员和开发者，特别是对图像合成以及传统基于 VQ 的自回归模型替代架构感兴趣的人。

主要特点

• 支持无需向量量化的图像生成。
• 包含专用的 ImageTrainer，用于简化在图像数据集上的训练过程。
• 提供标准自回归扩散和流匹配两种版本。
• 支持探索性建模，允许在每个时间步选择多个候选中的最佳结果进行训练。

该方法通过扩散过程实现了无需向量量化的自回归图像生成 — @username