PKU-YuanGroup/MagicTime

What it solves

MagicTime 解決了產生「變形影片」的困難——即展示隨時間顯著物理變化的時序縮時序列，例如植物生長、冰塊融化或建築施工。這類影片比一般影片更難生成，因為模型必須具備物理知識、維持物體的長期持續性，並處理強烈的視覺變化。

How it works

MagicTime 是一個變形影片生成管線，使用專門的資料集與提出的方法，提升影片生成模型準確描繪現實世界變化的能力。它利用 ChronoMagic 資料集，該資料集包含數千個由 GPT-4V、GPT-4o 等模型標註的時序縮時影片‑文字配對，訓練模型根據文字提示模擬這些變形過程。

Who it’s for

此專案適合從事文字到影片生成的 AI 研究者與開發者，特別是對模擬物理變化與時序縮時效果感興趣的人。

Highlights

• Specialized in Metamorphic Generation: 專為展示成長、衰退或建造的時序縮時影片而設計。
• ChronoMagic Dataset: 包含多個版本的時序縮時資料集，從 2,265 對的小型子集到 460K 對的專業版。
• Physical Realism: 相較於一般影片模型，更能捕捉現實世界的物理知識與長期持續性。