kandinskylab/kandinsky-5
Kandinsky 5.0: A family of diffusion models for Video & Image generation
What it solves
Kandinsky 5.0 は、テキストプロンプトまたは入力画像から動画と画像を生成するための高品質拡散モデルファミリーを提供します。高忠実度のビジュアル生成のニーズに対応し、英語とロシア語の両方に強力なサポートを提供します。
How it works
このプロジェクトは Flow Matching を用いた潜在拡散パイプラインを利用しています。コア生成バックボーンは、Qwen2.5‑VL と CLIP が提供するテキスト埋め込みにクロスアテンションで条件付けする Diffusion Transformer（DiT）です。動画処理には HunyuanVideo 3D VAE を使用し、動画を潜在空間にエンコード・デコードします。
Who it’s for
- Researchers and enthusiasts who can use the pretrain models for further fine-tuning.
- Content creators looking for high-definition video (up to 10 seconds) and image generation.
- Developers seeking lightweight, efficient models (like the 2B Video Lite version) for faster inference.
Highlights
- Diverse Model Family: Includes "Pro" (19B parameters) for maximum quality and "Lite" (2B for video, 6B for image) for efficiency.
- Multimodal Capabilities: Supports Text-to-Video (T2V), Image-to-Video (I2V), and Text-to-Image (T2I).
- Optimized Performance: Offers CFG-distilled and Diffusion-distilled variants for significantly lower latency (up to 6 faster).
- Language Support: Strong understanding of Russian concepts alongside English.
- Controllable Motion: Includes LoRAs for camera control in video generation.