hzwer/Practical-RIFE

해결하는 문제

Practical-RIFE는 실용적인 동영상 프레임 보간을 제공하여 기존 프레임 사이에 중간 프레임을 생성함으로써 동영상의 프레임 속도를 증가시킵니다. PSNR와 같은 수학적 지표 최적화에 그치지 않고, 엔지니어와 개발자들이 실제 사용할 때의 주관적 시각적 품질에 중점을 둡니다.

작동 방식

이 프로젝트는 RIFE(RTIF: Real-Time Intermediate Flow Estimation) 및 SAFA(Scale-Adaptive Feature Aggregation) 아키텍처를 기반으로 합니다. 학습된 모델을 사용해 기존 프레임 간의 광류를 추정하고, 새로운 프레임을 합성하여 부드러운 움직임을 생성합니다. 저연산 비용을 위한 "lite" 버전과 애니메이션 장면 또는 디퓨전 모델 생성 동영상에 최적화된 전용 버전을 포함한 다양한 사전 학습 모델을 제공합니다.

대상 사용자

Python과 명령줄 인터페이스를 사용할 수 있는 엔지니어 및 개발자로, 고품질 동영상 프레임 보간 및 동영상 강화가 필요한 분들입니다.

주요 특징

• 다양한 사전 학습 모델: v4.25, v4.26 등 다양한 버전을 제공하며, "lite" 버전과 애니메이션, AI 생성 동영상에 최적화된 옵션 포함.
• 유연한 보간: 프레임 속도를 2X, 4X 또는 사용자 정의 배수로 증가 가능.
• 고해상도 지원: 4K 동영상을 효율적으로 처리하기 위해 --UHD 또는 --scale 매개변수 제공.
• 동영상 강화: SAFA를 활용해 공간-시간 동영상 슈퍼레졸루션 및 강화 기능 제공.
• 명령줄 인터페이스: inference_video.py를 통해 동영상 또는 이미지 시퀀스를 간단히 처리 가능.