jd-opensource/JoyAI-Video-Edit

해결하는 문제

JoyAI-Video-Edit은 라이브 카메라 스트림이나 업로드된 비디오에 대해 실시간으로 오픈 엔드 비디오 편집을 가능하게 합니다. 기존의 오프라인 배치 처리와 달리, 프레임이 도착할 때마다 인과적으로 편집을 수행하므로 전체 비디오 시퀀스를 기다리거나 비디오 길이를 미리 정의할 필요가 없습니다.

작동 원리

이 시스템은 160억 개의 파라미터를 가진 멀티모달 확산 Transformer (MMDiT), 인과적 비디오 VAE, 그리고 MLLM 기반 조건 인코더로 구성된 자기회귀 확산 아키텍처를 사용합니다. 높은 처리량 성능(720p에서 최대 30 FPS)을 달성하기 위해 정렬된 자기회귀 분포 매칭 증류, 장기 최적화, 경계가 있는 KV-state 추론, 배포 지향적 스케줄링 등 여러 가속 기술을 적용했습니다.

대상 사용자

이 도구는 인터랙티브 스트리밍 생성, 실시간 비디오 효과, AI 기반 비디오 콘텐츠 제작을 연구하는 개발자와 연구자를 위해 설계되었습니다.

주요 특징

• 실시간 스트리밍: 전체 시퀀스를 미리 확보할 필요 없이 라이브 비디오 피드를 처리합니다.
• 다양한 편집 기능: 피사체 및 부분 편집, 배경 교체, 스타일 전송, 동작 변경, 참조 이미지 유도 편집 (RV2V)을 지원합니다.
• 고성능: 720 × 1248 해상도에서 30 FPS 도달이 가능합니다.
• 소비자용 GPU 지원: GeForce RTX 5090과 같은 하드웨어에서 실행되도록 최적화되었습니다.