PKU-YuanGroup/MagicTime

What it solves

MagicTime은 "메타모픽 비디오"—식물 성장, 얼음 녹음, 건물 건설 등 시간에 따라 눈에 띄는 물리적 변화를 보여주는 타임랩스 시퀀스—를 생성하는 어려움을 해결합니다. 이러한 유형의 비디오는 물리적 지식 이해, 객체의 장기 지속성 유지, 강한 시각적 변화를 처리해야 하므로 일반 비디오보다 생성하기 어렵습니다.

How it works

MagicTime은 특수 데이터셋과 제안된 방법을 사용하여 비디오 생성 모델이 실제 세계 변화를 정확히 묘사할 수 있는 능력을 향상시키는 메타모픽 비디오 생성 파이프라인입니다. ChronoMagic 데이터셋을 활용하며, 이 데이터셋은 GPT-4V 및 GPT-4o와 같은 모델이 캡션을 달아 만든 수천 개의 타임랩스 비디오‑텍스트 쌍을 포함하고 있어, 텍스트 프롬프트에 따라 이러한 변형 과정을 시뮬레이션하도록 모델을 학습시킵니다.

Who it’s for

이 프로젝트는 텍스트‑투‑비디오 생성에 종사하는 AI 연구자 및 개발자를 위한 것으로, 특히 물리적 변환 및 타임랩스 효과 시뮬레이션에 관심이 있는 사람들을 대상으로 합니다.

Highlights

• Specialized in Metamorphic Generation: 성장, 부패, 건설 등을 보여주는 타임랩스 비디오에 특화되었습니다.
• ChronoMagic Dataset: 2,265쌍의 소규모 서브셋부터 460K쌍의 전문 버전까지 다양한 버전의 타임랩스 데이터셋을 포함합니다.
• Physical Realism: 일반 비디오 모델에 비해 실제 세계의 물리적 지식과 장기 지속성을 더 잘 포착하는 것을 목표로 합니다.