nvidia-cosmos/cosmos-transfer1

解决的问题

Cosmos-Transfer1 提供了一个用于可控多模态世界生成的框架。它允许用户将各种输入信号（如深度图、分割掩码、边缘检测、LiDAR 或 HDMaps）转换为逼真的视频模拟。这对于物理 AI 应用（如自动驾驶模拟或机器人技术）特别有用，开发人员需要在这些应用中根据结构化输入生成高保真视觉数据。

工作原理

它使用了一种充当可控生成器的基座模型架构。用户提供文本提示以及一个或多个条件输入（例如深度图或分割视频）。该模型使用基于 ControlNet 的方法来引导生成过程，确保输出视频符合输入模态提供的空间和时间约束。它还包含一个升频器，可将 720p 输出转换为 4K 分辨率，并支持蒸馏以通过减少所需的扩散步骤来加快推理速度。

适用人群

该项目专为需要构建、训练或定制用于模拟、机器人或自动驾驶开发的物理 AI 研究人员和工程师而设计。它适用于那些需要根据特定传感器或结构输入生成合成数据或模拟环境的人员。

亮点

• 支持使用深度、分割、边缘、模糊、LiDAR 和 HDMap 输入组合进行多模态条件生成。
• 包含 4K 升频器以增强生成的视频分辨率。
• 提供用于后训练、从头开始预训练以及模型蒸馏的脚本，以实现更快的推理。
• 具有针对自动驾驶 (AV) 应用的专门支持，包括单视图到多视图的生成。
• 集成了 Llama Guard 3 以实现内容安全和审核。