aigc-apps/VideoX-Fun

해결하는 문제

VideoX-Fun은 고품질 AI 이미지 및 비디오 생성을 위한 포괄적인 파이프라인을 제공합니다. Diffusion Transformer (DiT) 모델을 배포하고 훈련하는 복잡성을 해결하기 위해 CogVideoX 및 Wan2.1/2.2를 포함한 여러 모델 패밀리에 대해 추론과 훈련을 통합된 프레임워크로 지원합니다.

작동 방식

이 프로젝트는 여러 모달리티를 지원하는 유연한 생성 파이프라인을 구현합니다:

• 추론: Python 스크립트, Gradio 기반 WebUI, 또는 ComfyUI를 통해 콘텐츠를 생성할 수 있습니다. 텍스트에서 비디오(T2V), 이미지에서 비디오(I2V), 비디오에서 비디오(V2V), 그리고 Canny, Pose, Depth 등으로 제어된 비디오 생성을 지원합니다.
• 메모리 최적화: 소비자용 GPU에서 사용할 수 있도록 model_cpu_offload, model_cpu_offload_and_qfloat8(양자화), sequential_cpu_offload와 같은 GPU_memory_mode 옵션을 포함합니다.
• 훈련: 데이터 전처리(세그멘테이션, 정제, 캡션 추가)부터 시작하여 베이스라인 모델과 특정 스타일 변환을 위한 LoRA(저랭크 적응) 모델 훈련까지 완전한 파이프라인을 제공합니다.
• 병렬화: 대규모 모델의 경우 xfuser 및 yunchang를 사용하여 GPU를 다중으로 활용해 헤드와 시퀀스에 작업을 분산하는 다중 GPU 추론을 지원합니다.

대상 사용자

• AI 아티스트 및 크리에이터: 텍스트, 이미지, 기존 비디오에서 정밀한 제어로 비디오를 생성하고 싶은 사람.
• ML 연구자 및 개발자: 자체 데이터셋을 사용해 Diffusion Transformer 모델을 훈련하거나 피니튜닝할 필요가 있는 사람.
• GPU 제약이 있는 사용자: 양자화 및 오프로드를 통해 소비자급 하드웨어에서 대규모 비디오 모델을 실행하고 싶은 사람.

주요 특징

• 다중 모델 지원: CogVideoX-Fun, Wan2.1, Wan2.2, Qwen-Image 시리즈와 호환됩니다.
• 유연한 제어: Canny, Pose, Depth, MLSD, 궤적 제어, 카메라 렌즈 제어 등 고급 제어 메커니즘을 지원합니다.
• 대규모 훈련 세트: 베이스라인 훈련, LoRA 훈련, 보상 기반 LoRA용 스크립트를 포함합니다.
• 배포 옵션: WebUI, ComfyUI 통합, 직접 Python API 등 다양한 진입점 제공합니다.