NVIDIA/flashdreams

解决的问题

FlashDreams 是一个为交互式自回归视频和世界模型设计的高性能推理与服务库。它解决了自动驾驶汽车仿真、机器人、游戏和虚拟环境等复杂应用中对实时生成的需求，这些应用需要低延迟、高吞吐量的视频合成。

工作原理

它作为一个优化的运行时平台，支持多种自回归模型。提供统一的系统，用于在不同模式下启动模型（例如本地窗口或 WebRTC 用于交互式演示），并包含对多个视频和世界模型家族的原生集成，包括 Wan2.1、OmniDreams 和 Cosmos-Predict2.5。

适用人群

此工具专为拥有高端硬件（如 NVIDIA GPU 80 GB VRAM 或更高，例如 H100）的开发者和研究人员设计，用于开发实时世界模型应用。

主要亮点

• 广泛模型支持：集成多个模型家族，包括 T2V（文本到视频）、I2V（图像到视频）以及 HDMap 条件驱动模型。
• 交互能力：支持通过 WebRTC 或本地窗口进行实时交互式驾驶演示。
• 高性能栈：针对 CUDA 13.x 和 PyTorch 2.11.0+ 进行优化。
• 可扩展性：提供开发者指南，支持添加新方法并集成新模型到流水线中。