PKU-YuanGroup/MagicTime

What it solves

MagicTime 解决了生成“变形视频”的难题——即展示随时间显著物理变化的时序延时序列，例如植物生长、冰块融化或建筑施工。这类视频比普通视频更难生成，因为模型需要具备物理知识、保持对象的长期持久性，并处理强烈的视觉变化。

How it works

MagicTime 是一个变形视频生成管线，使用专门的数据集和提出的方法，提升视频生成模型准确描绘现实世界转变的能力。它利用 ChronoMagic 数据集，该数据集包含数千个由 GPT-4V、GPT-4o 等模型标注的时序延时视频‑文本配对，训练模型根据文本提示模拟这些变形过程。

Who it’s for

本项目面向从事文本到视频生成的 AI 研究者和开发者，特别是对模拟物理转变和时序延时效果感兴趣的人。

Highlights

• Specialized in Metamorphic Generation: 专为展示成长、衰退或建造的时序延时视频而设计。
• ChronoMagic Dataset: 包含多个版本的时序延时数据集，从 2,265 对的小型子集到 460K 对的专业版。
• Physical Realism: 相较于普通视频模型，更能捕捉现实世界的物理知识与长期持久性。