LongLive – NVIDIA 的长上下文视频与机器人动作建模套件

TL;DR

LongLive 是 NVIDIA 的四个相关研究项目集合，旨在突破超长视频生成和长上下文机器人动作模型的极限。每个子项目独立成文件夹，可单独克隆。该仓库提供以下内容的代码、训练配方、推理流程和预训练检查点：

Long‑WAM – 能够观看和操作数分钟视频的世界动作模型，附带真实机器人演示。
LongLive‑Plug – “一次训练，处处可用”的 LoRA 风格蒸馏，在不重新训练的情况下为现有视频模型添加新功能。
LongLive 2.0 – 用于训练和提供长视频扩散模型的高性能基础设施（NVFP4 量化、序列并行、KV 缓存技巧）。
LongLive 1.0 – 交互式实时文本转视频系统，允许用户在视频流式传输时操纵视频。

所有项目均在 Apache‑2.0 下开源，并在 HuggingFace 上提供模型权重。

1. 它解决什么问题？

生成或使用持续数分钟（而非几秒）的视频很快就会遇到两个瓶颈：

内存 – 基于 Transformer 的扩散模型会保留随长度线性增长的 KV 缓存。
计算 – 长序列训练成本高昂，推理速度变慢。

LongLive 解决了这两个问题：

流式视觉记忆（Long‑WAM）让机器人保持对所见过内容的滚动表征，从而实现长时域策略。
NVFP4 量化与序列并行（LongLive 2.0）减少内存并将训练/推理速度提升 >18%。
一次训练，处处可用蒸馏（LongLive‑Plug）将可复用能力（LoRA 适配器）与基础模型分离，无需重新训练整个扩散网络即可添加新行为。
交互式生成（LongLive 1.0）流式传输扩散过程，允许用户即时更改提示。

2. 核心组件及协同方式

组件	目标	关键技术	典型用例
Long‑WAM	长上下文机器人策略与视频生成	流式 IDM/COD、Agentic API、视觉记忆、机器人专用适配器	在 LIBERO、RoboTwin、RoboCasa 上训练/评估策略；部署在 YAM、Franka、Unitree G1 上
LongLive‑Plug	跨多个视频模型复用已训练能力	LoRA 适配器、少步/CFG 蒸馏、“一次训练，处处可用”训练	无需完整重训即可为基础扩散模型添加新风格、对象或控制信号
LongLive 2.0	长视频的快速可扩展训练与推理	NVFP4 (W4A4) 量化、KV 缓存量化、序列并行、异步解码	在单个 H100 上以 45 FPS 训练 5B 视频扩散模型；低延迟提供
LongLive 1.0	实时交互式文本转视频	注意力汇聚点、KV 重新缓存、流式长调优	视频流式传输时可编辑提示的用户引导视频创作

这四个项目共享一个代码库（工具脚本、模型加载辅助、评估工具），并支持稀疏检出，因此您只需拉取所需的部分。

3. 快速入门（快速开始示例）

# 仅克隆 Long‑WAM 子项目
 git clone --filter=blob:none --sparse --depth 1 \
    https://github.com/NVlabs/LongLive.git && cd LongLive
 git sparse-checkout set Long-WAM
 cd Long-WAM

# 安装依赖（确切版本见 Long-WAM/README）
 pip install -r requirements.txt

# 下载预训练检查点（例如 LIBERO‑IDM）
 python download_checkpoint.py --model Long-WAM-LIBERO-IDM

# 运行推理演示（流式机器人视频）
 python demo_robot_video.py --policy libe…

将 Long-WAM 替换为 LongLive-Plug、LongLive2.0 或 LongLive1.0 以尝试其他工具。

4. 显著成果与基准测试

项目	模型大小	速度 (FPS)	VBench 得分	亮点
LongLive‑2.0‑5B‑NVFP4‑2Step	5 亿	45.7	83.14	最快的 NVFP4 推理 (W4A4)
LongLive‑2.0‑5B‑NVFP4‑4Step	5 亿	29.7	84.51	速度与质量的良好权衡
LongLive‑1.3B	1.3 亿	20.7	84.87	在单个 H100 上实现实时交互式生成
Long‑WAM（RoboCasa GR1，4.8 秒上下文）	–	–	–	展示超过 10 秒机器人视频的流式视觉记忆

仓库还列出了一系列基于 LongLive 构建的下游项目（DreamForge‑World、SANA‑Video、MemFlow 等），展示了其对社区的影响。

5. 谁应该使用？

研究人员：探索长时域视频扩散、机器人策略学习或内存高效 Transformer 的研究人员。
工程师：构建需要低延迟推理的实时视频生成产品。
机器人团队：希望获得可微调或直接部署到 Franka、Unitree 等硬件的预训练世界动作模型。
ML 运维人员：对大規模并行训练（NVFP4、序列并行）感兴趣的人员。

6. 局限性与未决问题

性能最高的配置（NVFP4、KV 缓存量化）目前需要 NVIDIA H100 / DGX 硬件；在消费级 GPU 上运行会较慢。
真实机器人部署示例仅限于所列平台（YAM、Franka、Unitree G1）。适配其他机器人需要自定义包装器。
“一次训练，处处可用”蒸馏在基础模型与目标模型共享架构时效果最佳；尚不支持跨架构迁移。

7. 许可证与引用

代码根据 Apache‑2.0 发布。每个子文件夹均包含其自身的许可证副本及任何第三方声明。如果您在研究中使用了模型或代码，请引用 README 中列出的四篇 arXiv 论文。

底线： LongLive 是一个真正的生产级研究套件，推动了长上下文视频扩散和机器人动作建模的前沿发展，同时提供高性能基础设施和即用型预训练模型。