vita-epfl/Stable-Video-Infinity

해결하는 문제

Stable Video Infinity (SVI)는 AI 모델의 짧은 비디오 생성 제한을 해결하여, 높은 시간적 일관성, 자연스러운 장면 전환, 제어 가능한 스토리라인을 유지하면서 품질 저하나 시간 경과에 따른 '망각' 없이 임의의 길이(잠재적으로 무한)의 비디오를 생성할 수 있게 합니다.

작동 원리

SVI는 하이브리드 인과 관계 접근 방식을 사용합니다. 개별 비디오 클립 내에서 양방향 어텐션을 사용하여 높은 시각적 품질을 보장하고, 클립 간 인과 관계를 사용하여 이러한 클립을 순차적으로 연결합니다. 이 시스템은 Wan 2.1 및 Wan 2.2와 같은 기본 모델 위에서 튜닝된 LoRA 어댑터로 구현되어, 최소한의 학습 데이터로도 장거리 생성 능력을 달성합니다.

대상 사용자

단편 영화, 단일 장면 애니메이션, 스토리텔링 비디오 등 수 분에 걸친 일관성이 중요한 장편 AI 비디오 콘텐츠를 제작해야 하는 크리에이터, 영화 제작자, 애니메이터를 위해 설계되었습니다.

주요 특징

• 무한한 길이: 지속 시간에 본질적인 제한이 없으며, 10분 이상의 비디오를 생성할 수 있습니다.
• 높은 일관성: 시각적 안정성을 유지하고 긴 시퀀스 전반에 걸쳐 색상 변화나 콘텐츠 저하를 방지합니다.
• 다양한 생성: 다중 장면 영화, 단일 장면 애니메이션 및 조건부 생성(스켈레톤 또는 오디오)을 지원합니다.
• 효율적인 학습: LoRA 어댑터를 사용하여 사용자가 매우 적은 데이터로도 자신만의 SVI 변형을 쉽게 만들 수 있습니다.
• 오픈 소스: 오픈 학습 스크립트, 평가 도구 및 데이터셋을 제공합니다.