NVlabs/Sana

解决的问题

SANA 解决了通常与生成高分辨率图像和视频相关的高计算成本和慢速度问题。它提供了一个以效率为导向的框架，允许用户创建高质量的视觉内容（从 1024px 图像到 4K 分辨率以及长视频），其速度比传统的大规模扩散模型更快，且硬件要求更低。

工作原理

SANA 利用了一系列为速度而设计的优化扩散模型和架构。它采用了蒸馏（如 sCM）、量化（支持 4-bit 和 8-bit）以及先进的推理引擎等技术，以减少内存使用并提高生成速度。该代码库支持全生命周期的任务，包括训练、微调 (LoRA)，以及通过与 ComfyUI、SGLang 和 Hugging Face Diffusers 等工具集成实现的高性能推理。

适用人群

本项目适用于需要生成高分辨率视觉媒体，但受限于硬件限制或需要实时性能的研究人员、开发人员和创作者。对于那些希望在消费级硬件或优化后的服务器环境中部署高效图像或视频生成流水线的人来说，它特别有用。

亮点

• 高分辨率输出： 支持高达 4K 的图像生成和长视频生成。
• 极致效率： 模型比同类行业标准更小、更快，某些配置在短短 0.1 秒内即可生成 1024px 图像。
• 多功能生态系统： 全面支持训练、推理和微调，并原生集成了 ComfyUI、SGLang 和 Hugging Face。
• 广泛的能力： 包括用于流式视频、可控世界建模以及高质量视频草稿的一步细化的专业模型。