dc-ai-projects/DC-Gen

解决的问题

DC-Gen 解决了现代高分辨率视觉扩散模型存在的吞吐量低和计算成本高的问题。它特别解决了原生 4K 图像生成所需的训练和推理成本过高，以及每次更换自动编码器时都必须从头重新训练扩散模型的低效问题。

工作原理

DC-Gen 是一个加速框架，通过轻量级的后训练方法，将预训练的扩散模型转移到一个深度压缩的潜在空间中。它采用一种称为「嵌入对齐（Embedding Alignment）」的流程，将基础模型的知识迁移到新的潜在空间，使模型在初始阶段无需微调扩散模型权重即可保持正确的语义。随后通过 LoRA 微调完全恢复模型质量。该方法减少了令牌冗余，从而实现显著更快的推理速度和原生超分辨率能力。

适用人群

本项目适用于需要以更高效率生成高分辨率图像（最高 4K）或视频，同时不牺牲基础模型视觉质量或文本渲染能力的研究人员和开发者。

主要亮点

• 显著提速：在 H100 GPU 上，4K 分辨率下实现最高 53.8 倍的推理加速。
• 广泛适用：已在文本到图像、文本到视频、图像到视频以及图像编辑任务中验证。
• 原生 4K 支持：使 FLUX 和 Z-Image 等模型能够实现原生超分辨率图像生成，此前这些模型因成本过高而难以实现。
• 高效适配：通过嵌入对齐和 LoRA 微调，无需完全重新训练即可适配新的自动编码器。