Tencent-Hunyuan/HunyuanVideo

해결하는 문제

HunyuanVideo는 오픈소스와 클로즈드소스 비디오 생성 간의 격차를 해소하기 위해 설계된 대규모 오픈소스 비디오 기반 모델입니다. 생성된 콘텐츠에서 높은 시각적 품질, 다양한 모션, 강력한 텍스트-비디오 정렬을 달성하는 과제를 해결하며, 주요 독점 모델과 경쟁하는 것을 목표로 합니다.

작동 방식

이 모델은 Causal 3D VAE를 사용하여 공간-시간적으로 압축된 잠재 공간에서 작동합니다. "Dual-stream to Single-stream" 하이브리드 Transformer 아키텍처를 채택하여, 먼저 비디오와 텍스트 토큰을 독립적으로 처리(듀얼 스트림)하여 모달리티별 변형을 학습한 다음, 이를 연결(싱글 스트림)하여 멀티모달 융합을 수행합니다.

주요 기술 구성 요소는 다음과 같습니다:

• MLLM 텍스트 인코더: 표준 CLIP/T5 인코더 대신 디코더 전용 멀티모달 대규모 언어 모델을 사용하여 더 나은 이미지-텍스트 정렬과 복잡한 추론을 지원합니다.
• 3D VAE: 픽셀 공간의 비디오와 이미지를 컴팩트한 잠재 공간으로 압축하여 토큰 수를 줄이고 원본 해상도와 프레임 속도를 유지합니다.
• 프롬프트 재작성: 사용자 프롬프트를 모델이 선호하는 설명으로 변환하여 의도 이해 또는 시각적 품질을 개선하는 미세 조정된 Hunyuan-Large 모델입니다.

대상 사용자

고품질 비디오 생성을 실험하려는 AI 커뮤니티의 연구자와 개발자, 그리고 클로즈드소스 비디오 생성기의 오픈소스 대안을 찾는 사용자를 대상으로 합니다.

주요 특징

• 대규모: 130억 개 이상의 파라미터를 가진 비디오 생성 모델입니다.
• 높은 성능: 전문 인간 평가에서 모션 품질과 전반적인 성능에서 여러 클로즈드소스 기준 모델을 능가합니다.
• 유연한 추론: 단일 GPU 추론, xDiT를 통한 다중 GPU 시퀀스 병렬 추론, 메모리 사용량을 줄이기 위한 FP8 양자화 가중치를 지원합니다.
• 생태계 통합: Hugging Face Diffusers 라이브러리에 통합되어 있으며 ComfyUI를 지원합니다.

SUMMARY: HunyuanVideo는 130억 개 이상의 파라미터를 가진 오픈소스 비디오 기반 모델로, 하이브리드 Transformer 아키텍처와 3D VAE를 사용하여 텍스트 프롬프트에서 고품질 비디오를 생성합니다.

TITLE: 듀얼-투-싱글 스트림 Transformer 아키텍처를 갖춘 대규모 오픈소스 비디오 기반 모델