NVIDIA/flashdreams

high-performance inference and serving library for interactive autoregressive video and world models

FlashDreams – 用于视频与世界模型的高性能实时推理

简介 – FlashDreams 是一个开源库 (Apache-2.0)，让您能以交互速度运行大型自回归视频生成和世界模型网络。它最初是 NVIDIA OmniDreams 演示背后的运行时，现已通用化为一个平台，适用于游戏、自动驾驶模拟、机器人或虚拟环境中的任何“实时”生成模型。

主要功能

实时服务 – 优化的 GPU 内核、多 GPU 调度和低延迟流水线，使模型生成视频帧或世界状态更新的速度快于显示速度。
模型目录 – 针对一系列 NVIDIA 发布的模型（Self-Forcing, OmniDreams, LingBot-World, Waypoint 1.5, Wan2.1, Causal-Forcing, FlashVSR, Cosmos-Predict2.5 等）提供第一方集成。每个集成均附带可直接运行的运行器、基准测试数据和多 GPU 启动脚本。
灵活部署 – 通过 pip 安装，或使用基于 uv 的工作流程来拉取正确的 CUDA-13（或可选的 CUDA-12）PyTorch 堆栈。同时支持包含 NVIDIA Container Toolkit 的 Docker 镜像。
可扩展架构 – 仓库提供 ARCHITECTURE.md、配置系统和“新集成”指南，让开发者能插入自己的自回归视频或世界模型代码。
交互式演示 – 包含一个驾驶演示 (OmniDreams)，让用户通过键盘/鼠标或 WebRTC 控制世界模型，展示闭环生成。

典型工作流程

安装库 (uv sync --extra runners 或 pip install flashdreams)。
从 Hugging Face 拉取模型检查点（需要 HF token）。
启动运行器，例如 flashdreams-run-v2 t2v-self-forcing-wan2.1-t2v-1.3b … --prompt "A cat surfing."。
运行器将生成的帧流式传输至视频文件或交互窗口。

硬件要求 – 专为具备 ≥ 80 GB VRAM 的 NVIDIA GPU 设计（以 H100 80 GB 为基准）。消费级 GPU 通常会内存不足；README 列出了各模型的 VRAM 需求。

适用对象 – 构建或评估高吞吐量视频生成的研究人员、需要用于世界模型模拟之生产级推理服务器的工程师，以及希望以即插即用方式实时运行 NVIDIA 最新生成式视频模型的开发者。

更多信息 – 完整文档请见 https://nvidia.github.io/flashdreams，以及模型专属页面，并可加入 NVIDIA Omniverse Discord 频道的 #flashdreams 进行社区支持。