PKU-YuanGroup/MagicTime

What it solves

MagicTime は「メタモルフィック動画」――植物の成長、氷の溶解、建物の建設など、時間とともに顕著な物理的変化を示すタイムラプスシーケンス――の生成の難しさに対処します。これらの動画は、物理的知識の理解、オブジェクトの長期的な永続性の維持、強い視覚的変化への対応が必要なため、一般的な動画よりも生成が困難です。

How it works

MagicTime は、特殊なデータセットと提案手法を用いて、動画生成モデルが実世界の変化を正確に描写できる能力を高めるメタモルフィック動画生成パイプラインです。ChronoMagic データセットを活用し、GPT-4V や GPT-4o などのモデルがキャプション付けした何千ものタイムラプス動画‑テキストペアを用いて、テキストプロンプトに基づく変形プロセスのシミュレーションを学習させます。

Who it’s for

このプロジェクトは、テキストから動画への生成に取り組む AI 研究者や開発者、特に物理的変換やタイムラプス効果のシミュレーションに関心のある方を対象としています。

Highlights

• Specialized in Metamorphic Generation: 成長、腐敗、建設などを示すタイムラプス動画に特化しています。
• ChronoMagic Dataset: 小規模サブセット 2,265 ペアからプロフェッショナル版 460K ペアまで、複数バージョンのタイムラプスデータセットを含みます。
• Physical Realism: 一般的な動画モデルに比べ、実世界の物理知識と長期的永続性をより正確に捉えることを目指しています。