NVlabs/LongLive

它解决了什么问题

LongLive 2.0 是一种基础设施，旨在使长视频生成更加高效和可扩展。它解决了生成长序列视频帧所涉及的高计算和内存成本问题，支持实时交互式生成和高吞吐量推理。

它如何工作

该项目实现了一个并行基础设施，利用 NVFP4（一种 4 位浮点格式）和序列并行性来优化训练和推理。

在训练方面，它支持文本到视频（T2V）和图像到视频（I2V）模态的自回归（AR）教师强制训练，以及少步数蒸馏（DMD 蒸馏），以减少生成所需的步数。

在推理方面，它利用 NVFP4 权重和 KV 缓存来降低内存开销，采用序列并行推理和异步解码。它还结合了多帧注意力池等技术，以在长时间内保持稳定性。

适用于谁

该基础设施适用于从事长时程视频生成的研究人员和开发者，特别是那些使用 NVIDIA GPU（SM90/H100）以最大化吞吐量和利用硬件加速量化的人。

主要亮点

• NVFP4 支持：实现 W4A4 量化和 NVFP4 KV 缓存，显著加快推理速度（最高达 45.7 FPS）。
• 因果扩散：支持 AR 训练和 DMD 蒸馏，实现高效、少步数的视频生成。
• 并行性：具备平衡的序列并行训练和序列并行推理能力，可处理长序列。
• 多功能模态：支持文本到视频（T2V）和图像到视频（I2V）工作流。
• FP8 PTQ：包含 TorchAO FP8 后训练量化，适用于 BF16 检查点。