nvidia-cosmos/cosmos-transfer2.5

解决的问题

Cosmos-Transfer2.5 解决了为物理AI生成高保真、多样化训练数据的挑战。它减少了对完全精确的3D模拟的需求，通过支持「仿真2真实」（Sim2Real）和「真实2真实」数据增强，使开发者能够将合成或现有的真实世界视频转换为多样且逼真的场景，用于训练自动驾驶汽车和机器人。

工作原理

这是一个多控制网架构，可接受多种视频模态的结构化输入，例如RGB、深度、分割和视觉模糊。通过使用基于JSON的配置规范，用户可以引导生成过程，根据这些结构化控制来转换视频，支持单视频推理、自动控制图生成和多GPU设置。

适用人群

本工具专为物理AI应用开发者设计，特别是从事自动驾驶汽车（AV）、机器人和视频分析AI代理的开发者，他们需要在训练数据集中扩大世界状态的多样性。

主要亮点

• 多模态控制：支持深度、边缘、分割和模糊控制，实现精确的视频生成。
• Sim2Real 与 Real2Real：支持将仿真数据转换为逼真图像，或对真实世界传感器数据进行增强。
• 专用模型家族：包含通用2B模型、专用于自动驾驶汽车（Auto Multiview）的检查点，以及机器人多视角控制模型。
• 边缘部署：提供蒸馏检查点，可在边缘设备上实现低延迟推理。
• 扩展生成：支持自回归滑动窗口模式，用于生成更长的视频。