AMAP-ML/DreamX-Creator

해결하는 문제

DreamX-Creator는 고해상도 비디오와 동기화된 오디오를 동시에 생성하는 문제를 해결합니다. 시각적 및 청각적 스트림 간의 비일치 문제와 통합 생성 프레임워크에서의 네이티브 2K 해상도 부족 문제를 해결합니다.

작동 방식

이 시스템은 모달리티 전용 비디오 및 오디오 스트림을 공동으로 모델링하는 기본 생성기를 사용합니다. 게이트형 크로스모달리티 어텐션과 프로그레시브 공동 학습을 활용하여 오디오와 비디오 간의 양방향 상호작용을 가능하게 합니다. 품질 향상을 위해 오디오-비디오 강화학습과 모달리티 인지 다중모달 피드백을 통합하여 더 나은 의미적 일관성과 동기화를 달성합니다. 마지막으로, 자동회귀적 1단계 2K 리파이너는 원본 콘텐츠와 타이밍을 유지하면서 출력을 2K 해상도로 업스케일링합니다.

대상 사용자

이 프레임워크는 고해상도에서 동기화된 오디오-비디오 콘텐츠가 필요한, 특히 네이티브 다중모달 생성에 종사하는 연구자 및 개발자에게 적합합니다.

주요 특징

• 네이티브 통합 생성: 순차적으로 생성하는 것이 아니라, 오디오와 비디오 스트림을 동시에 모델링합니다.
• 양방향 상호작용: 게이트형 크로스모달리티 어텐션을 사용하여 오디오-비디오 동기화를 보장합니다.
• 고해상도: 2K 해상도로 비디오를 업스케일링하는 전용 1단계 리파이너를 포함합니다.
• 강화학습 강화: 강화학습과 다중모달 피드백을 활용하여 시각적 및 오디오 품질을 개선합니다.