unconv-ai/Un-0
Un-0: an image generator powered by a simulated system of coupled oscillators, an example of an emerging physical computing substrate.
解决的问题
Un-0 是一种避免现代 AI 图像生成器中常见的计算成本高昂的迭代去噪和扩散调度的图像生成模型。它旨在通过利用动力系统作为计算基础,实现向 AI 能耗显著降低的方向迈进,该基础可映射到模拟和物理硬件上。
工作原理
与扩散不同,Un-0 使用 Kuramoto 动力学——整合一组耦合振子的相位动力学。该模型通过演化这些振子,并将结果通过解码器传递来生成图像。该项目提供了 PyTorch 参考实现,包含 CIFAR-10 和 ImageNet-64 的训练管道,训练过程中使用 DINOv2 特征。
适用人群
对非传统 AI 架构、动力系统以及节能图像生成感兴趣的科研人员和开发者。
主要亮点
- 非扩散方法:无需迭代去噪或对抗训练即可生成图像。
- 能效优势:在模拟/物理硬件上实现时,有望实现能耗降低 1000 倍。
- 预训练权重:包含不同振子数量的 CIFAR-10 和 ImageNet-64 检查点。
- 消融实验套件:提供全面的套件,用于衡量 Kuramoto 动力学与解码器单独作用的影响。
相关
- Dispatch
- 项目
- 项目
- 项目
- 项目