kandinskylab/kandinsky-5
Kandinsky 5.0: A family of diffusion models for Video & Image generation
What it solves
Kandinsky 5.0은 텍스트 프롬프트 또는 입력 이미지를 통해 비디오와 이미지를 생성하는 고품질 확산 모델 패밀리를 제공합니다. 고충실도 시각 생성에 대한 요구를 충족시키며 영어와 러시아어 모두에 대한 강력한 지원을 제공합니다.
How it works
이 프로젝트는 Flow Matching을 활용한 잠재 확산 파이프라인을 사용합니다. 핵심 생성 백본은 Qwen2.5‑VL와 CLIP이 제공하는 텍스트 임베딩에 교차 주의(cross‑attention)로 조건을 부여하는 Diffusion Transformer(DiT)입니다. 비디오 처리에는 HunyuanVideo 3D VAE를 사용해 비디오를 잠재 공간으로 인코딩·디코딩합니다.
Who it’s for
- Researchers and enthusiasts who can use the pretrain models for further fine-tuning.
- Content creators looking for high-definition video (up to 10 seconds) and image generation.
- Developers seeking lightweight, efficient models (like the 2B Video Lite version) for faster inference.
Highlights
- Diverse Model Family: Includes "Pro" (19B parameters) for maximum quality and "Lite" (2B for video, 6B for image) for efficiency.
- Multimodal Capabilities: Supports Text-to-Video (T2V), Image-to-Video (I2V), and Text-to-Image (T2I).
- Optimized Performance: Offers CFG-distilled and Diffusion-distilled variants for significantly lower latency (up to 6 faster).
- Language Support: Strong understanding of Russian concepts alongside English.
- Controllable Motion: Includes LoRAs for camera control in video generation.