jd-opensource/JoyAI-Video-Edit

해결하는 문제

JoyAI-Video-Edit는 개방형 동영상 스트림을 위한 실시간 지시 기반 동영상 편집을 가능하게 합니다. 기존의 오프라인 배치 처리와 달리, 전체 동영상 시퀀스를 기다리거나 미리 고정된 동영상 길이를 정의할 필요 없이, 프레임이 도착하는 즉시 라이브 카메라 피드나 업로드된 동영상을 편집할 수 있습니다.

작동 방식

이 시스템은 MLLM 기반 조건 인코더, 인과적 비디오 VAE, 그리고 16B 파라미터의 다중 모달 확산 변환기(MMDiT)로 구성된 자기회귀 확산 아키텍처를 사용합니다. 높은 처리량 성능(720p에서 최대 30 FPS)을 달성하기 위해, 정렬된 자기회귀 분포 매칭 증류, 장거리 최적화, 제한된 KV 상태 추론, 그리고 배포 중심 스케줄링과 같은 여러 최적화 기법을 활용합니다.

대상 사용자

이 도구는 인터랙티브 스트리밍 동영상 생성, 실시간 시각 효과, AI 기반 동영상 편집 애플리케이션에 관심이 있는 개발자 및 연구자에게 적합합니다.

주요 특징

• 실시간 스트리밍: 프레임이 도착하는 즉시 인과적으로 처리하여 라이브 웹캠 피드를 지원합니다.
• 다양한 제어: 주제 및 지역 편집, 배경 변경, 스타일 전이, 움직임 변경, 참조 이미지 기반 편집(RV2V)을 지원합니다.
• 고성능: 720 × 1248 해상도에서 최대 30 FPS를 달성할 수 있습니다.
• 소비자 GPU 지원: RTX 5090과 같은 단일 소비자 GPU에서 최적화되어 실행 가능합니다.