hokindeng/object-permanence

解决的问题

此项目解决世界模型中「物体恒存性」的挑战——即 AI 理解物体即使被遮挡（遮蔽）仍持续存在的能力。它提供了一个全面的框架，用于生成合成数据并训练模型，以根据初始视频片段预测场景的未来状态。

运作方式

系统分为两个主要组件：

1. 数据工厂：一组 150 个 Blender 渲染的任务生成器，用于创建视频到视频的样本。这些样本包含输入视频（分割点之前的模拟）、目标视频（分割点之后的模拟）、文本提示和真实轨迹。
2. 训练堆栈：针对 AWS Trainium2 优化的 NVIDIA Cosmos3-Nano 原生 PyTorch 实现。它使用张量并行和 FSDP2 在生成的合成数据上训练模型，以提升其对遮挡物体的预测能力。

适用对象

主要适用于从事世界模型、视频生成和机器学习空间推理的 AI 研究人员和开发者。

亮点

• 大量合成数据集：包含 150 个认知基础的任务生成器，用于创建高质量的训练数据。
• 高性能训练：使用原生 PyTorch 针对 AWS Trainium2 优化，避免 XLA 图形追踪。
• 详细的真实数据：提供场景中每个物体的逐帧轨迹，以进行精确评估。
• 集成管道：涵盖从 Blender 数据生成到大规模模型训练的完整工作流程。